1 恒等函式
f(z) = i(z)=z
2 sigmoid 函式
這個函式通常是用在返回0到1之間的值
f(z) = 1/(1+exp(-z))
3 tanh(雙曲正切）啟用函式
雙曲正切是一條-1~1的s形曲線：
f(z) = tanh(z)
影象如圖
4 relu(整流線性單元)啟用函式
f(z) = max(0,z)
python 的表達形式為np.maximum(x,0,x)
5 leaky relu
f(x) =
a一般約為0.01，這個取值的目的是使得x>0和x<0之間的差異更加明顯。
6 swish 啟用函式
f(x)=x⋅sigmoid(βx)
β是個常數或可訓練的引數.swish 具備無上界有下界、平滑、非單調的特性。
swish 在深層模型上的效果優於 relu。例如，僅僅使用 swish 單元替換 relu 就能把 mobile nasneta 在 imagenet 上的 top-1 分類準確率提高 0.9%，inception-resnet-v 的分類準確率提高 0.6%。參考**啟用函式(relu, swish, maxout)
神經網路啟用函式
2018,jul 23 學了深度學習也快近一年了，在學deep learning的時候什麼教程都去看，起初學起來也特別的雜亂，前面的基礎沒弄懂還一直往下學，自然導致我學到後面的時候有點崩潰什麼都看不懂，並且因為自己還是一名在校生，平常課程也非常多，沒有乙個連續的學習時間也導致我的學習是斷斷續續，在學...
啟用函式 神經網路
andrew的 neural networks and deep learning 課程學習筆記 如圖所示，是乙個簡單的三層神經網路，如果只使用線性啟用函式或者恒等啟用函式 不使用啟用函式 那麼神經網路的輸出就只是輸入函式的線性變化，因為線性啟用函式的組合依然是線性啟用函式。這種情況下，不管使用多少...
神經網路啟用函式
1.sigmoid sigmoid散活函式是將 乙個實數輸入轉化至 0 1 之間的輸出，具體來說也就是將越大的負數轉化到越靠近 0 越大的正數轉化到越靠近1。多用於二分類。缺點 1 sigmoid 函式會造成梯度消失。乙個非常不好的特點就是 sigmoid 函式在靠近 1和0 的兩端時，梯度會幾乎變...