啟用函式：常用的啟用函式有sigmoid、tanh、relu等等，前兩者sigmoid/tanh比較常見於全連線層，後者relu常見於卷積層。
在卷積神經網路中，啟用函式一般用relu(the rectified linear unit，修正線性單元)
收斂快，求梯度簡單。
計max(0,t)，就是如果這個數是正的就原樣輸出，如果這個數是負數，就輸出0
深度神經網路：
卷積、啟用函式、池化組合在一起，是下面這樣：
然後多經過幾次這個過程就是深度神經網路
全連線層(fully connected layers)：
全連線層在整個卷積神經網路中是個分類器，在通過卷積、啟用函式、池化等深度網路後，再經過全連線層對結果進行識別分類。
首先將經過卷積、啟用函式、池化的深度網路後的結果串起來，如下圖所示：
在利用該模型進行結果識別時，根據剛才提到的模型訓練得出來的權重，以及經過前面的卷積、啟用函式、池化等深度網路計算出來的結果，進行加權求和，得到各個結果的**值，然後取值最大的作為識別的結果（如下圖，最後計算出來字母x的識別值為0.92，字母o的識別值為0.51，則結果判定為x）
卷積神經網路主要由兩部分組成，一部分是特徵提取（卷積、啟用函式、池化），另一部分是分類識別（全連線層），下圖便是著名的手寫文字識別卷積神經網路結構圖：
卷積神經網路基礎
卷積神經網路出現的意義 計算機視覺問題中，輸入的往往畫素都很高。例如，一張普通的畫素為1000 1000，那麼輸入x的維數就是1000 1000 3，w 1 就是乙個3,000,000列的矩陣。在神經網路中引數如此多的情況下，找到足夠多的資料來保證不發生overfitting是很難的。卷積神經網路就...
卷積神經網路基礎
資料輸入層 input layer 卷積計算層 conv layer relu激勵層 relu layer 池化層 pooling layer 全連線層 fc layer 該層要做的處理主要是對原始影象資料進行預處理，其中包括 去均值 把輸入資料各個維度都中心化為0，如下圖所示，其目的就是把樣本的中...
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...