優缺點
1.sigmoid
優點：取值範圍為（0，1），適合用於二分類模型，例如邏輯回歸（lr）。
缺點： 啟用函式計算量大，反向傳播求誤差梯度時，求導涉及除法；
反向傳播時，很容易就會出現梯度消失的情況（當z很大時，梯度變化很小），從而無法完成深層網路的訓練
2.tanh
優點 ：因為tanh取值範圍為[−1,+1]，均值為0，對從隱藏層到輸出層資料起到了歸一化（均值為0）的效果。
缺點：計算量大，容易出現梯度消失的情況。
3.relu（rectified linear unit）
優點：當z>0是梯度恒為1，並且提高了梯度運算速度。
缺點：訓練的時候很」脆弱」，很容易就」die」了，訓練過程該函式不適應較大梯度輸入，因為在引數更新以後，relu的神經元不會再有啟用的功能，導致梯度永遠都是零。
4.leaky relu
優點：在繼承了relu的優點的情況下，在z<0是其梯度仍不為0，能彌補relu的缺點
關於啟用函式的問題
1 sigmoid函式 優點 一是輸出在 0,1 之間，單調連續，輸出範圍有限。二是容易求導。缺點 一是容易產生梯度消失，導致訓練困難。二是其輸出不是以0為中心。三是要進行指數運算，速度相對較慢。建議 基於上面sigmoid的性質，所以不建議在中間層使用sigmoid啟用函式，因為它會讓梯度消失。2...
什麼是啟用函式？常用的啟用函式
啟用函式是神經網路中的重要一環，也是神經網路之所以能叫 神經網路 的原因。初中應該就學過關於神經元的知識了。神經系統的結構和功能的基本單位是神經元，神經元的基本結構包括細胞體和突起兩部分神經元的功能是神經元接受刺激並能產生興奮 神經衝動 並能把興奮傳導到其它的神經元。也就是說其作用主要有三個 接受刺...
啟用函式作用
在神經網路結構中，通過啟用函式將非線性的特性引入到神經網路中，從而讓神經網路可以理解 處理複雜的資料及問題。通常啟用函式的形式可以寫成 y f x 這裡的 x 是啟用函式f 的輸入，y 是 x經過啟用函式變換得到的輸出。通過f 將原來的輸入 x 對映成為另外一種形式表達y。通常在神經網路結構中常用的...