啟用函式的主要作用是提供網路的非線性建模能力。如果沒有啟用函式，那麼該網路僅能夠表達線性對映，此時即便有再多的隱藏層，其整個網路跟單層神經網路也是等價的。因此也可以認為，只有加入了啟用函式之後，深度神經網路才具備了分層的非線性對映學習能力。
sigmoid函式
特別注意sigmoid函式的導數求法：
缺點：
（1）梯度消失。觀察函式影象，當
x>
10 或者
x<
10 ，啟用函式的導數接近0，在利用梯度反向傳播法更新權值的時候，會發生梯度值接近0現象。
（2）輸出函式值不是零對稱的。就是說sigmoid函式的輸出值恆大於0，這會導致模型訓練的收斂速度變慢。舉例來講對σ(
∑wix
i+b)
,如果所有的xi
均為正數或負數，那麼對它對wi
的導數總是正數或者負數，這會導致如下圖紅色箭頭所示的階梯式更新，這顯然並非乙個好的優化路徑。深度學習往往需要大量時間來處理大量資料，模型的收斂速度是尤為重要的。所以，總體上來講，訓練深度學習網路盡量使用zero-centered資料 (可以經過資料預處理實現) 和zero-centered輸出。
（3）指數運算耗費時間。ta
nh函式，也叫雙曲正切函式
優點：解決了zero-centered的輸出問題。
缺點：梯度消失的問題和冪運算的問題仍然存在。
1，史丹福大學 cs231n
2,
機器學習之啟用函式
1.概念 神經網路中的每個神經元節點接受上一層神經元的輸出值作為本神經元的輸入值，並將輸入值傳遞給下一層，輸入層神經元節點會將輸入屬性值直接傳遞給下一層 隱層或輸出層 在多層神經網路中，上層節點的輸出和下層節點的輸入之間具有乙個函式關係，這個函式稱為啟用函式 又稱激勵函式 關於神經網路中的啟用函式的...
機器學習 softmax啟用函式
softmax函式 softmax函式，一般用於多分類的問題上，將多個神經元的輸入，對映在 0，1 之間。可以當作概率的計算。這一點跟sigmoid函式相似。softmax的計算公式為 s i ei j 1ne js i frac n e j si j 1n ejei 值得關注的是 i 1nsi 1...
機器學習 啟用函式理解
作用 tf呼叫 公式影象 導數優點 缺點sigmoid 梯度反向傳遞時導致梯度 和梯度消失 其中梯度 發生的概率非常小 而梯度消失發生的概率比較大。sigmoid輸出永遠是正數 非零中心 tanh 輸出 1，1 沒有解決 梯度消失問題 relu 不會有梯度消失問題 輸入負數，則完全不啟用，relu函...