在生物意義上的神經元中，只有前面的樹突傳遞的訊號的加權和值大於某乙個特定的閾值的時候，後面的神經元才會被啟用。
簡單的說啟用函式的意義在於判定每個神經元的輸出 。
放在人臉識別卷積神經網路中來思考，卷積層的啟用函式的意義在於這一塊區域的特徵強度如果沒有達到一定的標準，就輸出0，表明這種特徵提取方式(卷積核w)不能在該塊區域提取到特徵，或者說這塊區域的這種特徵很弱。由於輸出0時，啟用函式梯度幾乎都為0，所以在特徵很弱的區域，梯度幾乎不下降，也就是說，和該特徵無關的區域不會影響到該特徵提取方式的訓練。
反過來說，如果沒有啟用函式，就算特徵很弱時，仍然可以得到輸出，後面的層次繼續把這個輸出當成乙個特徵使用，這是不合理的。
非線性啟用單元受啟發於人類大腦的神經元模型。在神經元模型中，樹突將訊號傳遞到細胞體，訊號在細胞體中組合相加。如果最終之和高於某個閾值，那麼神經元將會啟用，向其軸突輸出乙個峰值訊號傳遞至下乙個神經元。
引入非線性啟用函式的主要目的是增加神經網路的非線性性。因為如果沒有非線性啟用函式的話，每一層輸出都是上層輸入的線性函式，因此，無論神經網路有多少層，得到的輸出都是線性函式，這就是原始的感知機模型，這種線性性不利於發揮神經網路的優勢。
常用的非線性啟用單元如圖4所示。目前比較常用的有relu和lrelu，logistic(sigmoid)單元由於其飽和區特性導致整個網路梯度消失而逐漸退出歷史舞台(有的時候最後一層會用sigmoid將輸出限制在0.0-1.0)。
卷積神經網路 卷積層
1 2 該部落格主要是對網上知識點的學習和整理，方便日後複習。侵刪。卷積神經網路 cnn 一般由輸入層 卷積層 啟用函式 池化層 全連線層組成，即input 輸入層 conv 卷積層 relu 啟用函式 pool 池化層 fc 全連線層 當我們給定乙個 x 的圖案，計算機怎麼識別這個圖案就是 x 呢...
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...