tf.nn.sigmoid(x)
f(x）=1/（1+exp（-x））
特點：容易造成梯度消失，輸出非0均值，收斂慢，冪運算複雜，訓練時間長
深層神經網路一般不再使用sigmoid函式，因為它的導數處於0到0.25的區間，而深層神經網路的鏈式法則會導致多個這樣的導數值相乘，從而出現乙個極小的梯度，這就是梯度消失，使得引數無法繼續更新
f(x)=[1-exp(-2x)]/[1+exp(-2x)]
特點：輸出是0均值，容易造成梯度消失，冪運算複雜，訓練時間長
幾乎是最常用的啟用函式
優點：解決了正區間梯度消失問題，只需判斷輸入是否大於
0，計算速度快，收斂速度遠快於sigmoid和tanh
缺點：輸出非0均值，收斂慢，神經元死亡問題，有些神經元可能永遠不會被啟用，導致相應的引數無法被更新
leaky relu函式
深度學習 啟用函式
如下圖，在神經元中，輸入的 inputs 通過加權，求和後，還被作用了乙個函式，這個函式就是啟用函式 activation function。啟用函式的這些特性可以很好地解釋我們為什麼要用啟用函式。函式公式和圖表如下圖 在sigmod函式中我們可以看到，其輸出是在 0,1 這個開區間內，這點很有意思...
深度學習 啟用函式
主要作用 加入非線性因素，彌補線性模型表達不足的缺陷 sigmoid函式 隨著 x xx 的趨近正 負無窮，y yy 對應的值越來越接近 1 1，趨近飽和 因此當 x xx 100 和 x xx 1000 的差別不大，這個特性丟掉了 x xx 1000 的資訊 tanh函式 對sigmoid函式的值...
深度學習 啟用函式
啟用函式又稱 非線性對映函式 是深度卷積神經網路中不可或缺的模組。可以說，深度網路模型強大的表示能力大部分便是由啟用函式的非線性單元帶來的。這部分共介紹7個啟用函式 sigmoid函式，tanh函式，relu函式，leaky relu函式，引數化relu，隨機化relu和指數化線性單元 elu si...