tanh的誕生比sigmoid晚一些，sigmoid函式我們提到過有乙個缺點就是輸出不以0為中心，使得收斂變慢的問題。而tanh則就是解決了這個問題。tanh就是雙曲正切函式。等於雙曲余弦除雙曲正弦。函式表示式和影象見下圖。這個函式是乙個奇函式。
對tanh函式求導需要一定的數學基礎，這裡直接給出結果。tan
h′(x
)=1−
tanh
2(x)
tanh'(x)=1-tanh^2(x)
tanh′(
x)=1
−tan
h2(x
)，這個函式同樣是根據函式求導數很容易，但是函式值的計算比較複雜。
同樣可以很輕易的證明這個函式兩邊趨於無窮極限是飽和的，函式影象和sigmoid函式非常像，其實就是直接在豎直方向拉伸兩倍，然後在y軸向下平移了1個單位，使得函式的中心回到了0，然後在水平方向上拉伸兩倍。tan
h(x)
=2si
gmoi
d(2x
)−1tanh(x)=2sigmoid(2x)-1
tanh(x
)=2s
igmo
id(2
x)−1
。解決了sigmoid函式收斂變慢的問題，相對於sigmoid提高了收斂速度。
其他特點都是類似的，根據函式值求導數值簡單，但是指數的計算複雜。梯度消失的特點依舊保留，因為兩邊的飽和性使得梯度消失，進而難以訓練。
儘管tanh函式和sigmoid函式存在梯度消失的問題，但是與之類似，如果函式的梯度過大又會導致梯度**的問題，顯然tanh和sigmoid的導函式非常有界，根據導數公式，很容易得出tan
h′(x
)∈[0
,1]tanh'(x)\in[0,1]
tanh′(
x)∈[
0,1]
，所以完全不用擔心因為使用啟用函式而產生梯度**的問題。
神經網路中的啟用函式總述
sigmoid啟用函式
tanh啟用函式
relu系列啟用函式
maxout啟用函式
swish啟用函式
啟用函式發展的新里程——evonorms
sigmod函式tanh函式ReLU函式
x 11 e x x 11 e xan h x sin h x cosh x tanh x sinh x cosh x in h x ex e x2 sinh x ex e x2in h x ex e x2 sinh x ex e x2ax 0,x 0 x,if x 0 if x 0max 0,x ...
TensorFlow 雙曲正切函式（tanh）
tensorflow 雙曲正切函式 tanh flyfish 用python 畫乙個tanh的圖 linspace的第乙個引數表示起始點，第二個引數表示終止點，第三個引數表示數列的個數。對比sinh，cosh，tanh numpy.tanh與下列 相同 np.sinh x np.cosh x 1j ...
什麼是啟用函式？常用的啟用函式
啟用函式是神經網路中的重要一環，也是神經網路之所以能叫 神經網路 的原因。初中應該就學過關於神經元的知識了。神經系統的結構和功能的基本單位是神經元，神經元的基本結構包括細胞體和突起兩部分神經元的功能是神經元接受刺激並能產生興奮 神經衝動 並能把興奮傳導到其它的神經元。也就是說其作用主要有三個 接受刺...