在神經網路中，啟用函式的作用是能夠給神經網路加入一些非線性因素，使得神經網路可以更好地解決較為複雜的問題。
先舉乙個簡單的例子，在做二分類時，我們的**值y^=
wtx+
b\widehat=w^x+b
y=wtx
+b，其中w和b為引數，我們希望得到乙個範圍是（0,1）的概率值，而如果直接使用上式進行計算會導致**值大於1或小於0，因此我們就需要套接乙個啟用函式，例如sigmoid函式，其值為（0,1）範圍。
再比如下面這個問題中：
如上圖所示，這是乙個簡單的線性分類問題，只需要一條直線就可以很好地分類。當我們碰到下圖問題時，無法通過一條直線將樣本分類出來，需要我們加入非線性因素才可以將樣本分類好，而我們的啟用函式就是我們要加入的非線性因素。
假設h（x）是乙個啟用函式。
1.當我們的n趨近於正無窮，啟用函式的導數趨近於0，那麼我們稱之為右飽和。
lim n
→+∞h
′(x)
=0\lim _h'\left( x\right) =0
limn→+
∞h′
(x)=
02.當我們的n趨近於負無窮，啟用函式的導數趨近於0，那麼我們稱之為左飽和。
lim n
→−∞h
′(x)
=0\lim _h'\left( x\right) =0
limn→−
∞h′
(x)=
0當乙個函式既滿足左飽和又滿足右飽和的時候我們就稱之為飽和，典型的函式有sigmoid，tanh函式。
3.對於任意的x，如果存在常數c，當x>c時，恒有h′(
x)=0
h'(x)=0
h′(x)=
0，則稱其為右硬飽和。如果對於任意的x，如果存在常數c，當xh′(
x)=0
h'(x)=0
h′(x)=
0,則稱其為左硬飽和。既滿足左硬飽和又滿足右硬飽和的我們稱這種函式為硬飽和。
4.對於任意的x，如果存在常數c，當x>c時，恒有h′(
x)h'(x)
h′(x
)趨近於0，則稱其為右軟飽和。如果對於任意的x，如果存在常數c，當xh′(
x)h'(x)
h′(x
)趨近於0,則稱其為左軟飽和。既滿足左軟飽和又滿足右軟飽和的我們稱這種函式為軟飽和。
sigmoid函式的優點：1.求導容易。 2.sigmoid函式的輸出對映在(0,1)之間，單調連續輸出範圍有限，優化穩定可以用作輸出層。
缺點：1.由於其軟飽和性，容易造成梯度消失問題。2.其輸出沒有以0為中心。
tanh函式：
tanh函式導數：
tanh′
(z)=
1−(tanh(
z))2
\tanh '\left( z\right) =1-( \tanh\left( z\right) ) ^
tanh′(
z)=1
−(tanh(z))2
tanh函式的優點：1.收斂速度比sigmoid函式快。 2. 其輸出以0為中心。
缺點：還是出現軟飽和現象，梯度消失問題並沒有解決。
relu函式：
relu導數：
右側的線性部分能夠緩解梯度消失,左側的軟飽和能夠對於輸入變化魯棒.而且收斂速度更快.
啟用函式總結
一 主要作用 啟用函式的主要作用就是加入非線性因素，以解決線性模型表達能力不足的缺陷，在整個神經網路起到至關重要的作用。在神經網路中常用的啟用函式有sigmoid tanh和relu等，下面逐一介紹。二 sigmod函式 1 函式介紹 sigmoid是常用的非線性的啟用函式，數學公式如下 2 函式曲...
啟用函式總結
1.sigmod函式 函式公式和圖表如下圖 在sigmod函式中我們可以看到，其輸出是在 0,1 這個開區間內，這點很有意思，可以聯想到概率，但是嚴格意義上講，不要當成概率。sigmod函式曾經是比較流行的，它可以想象成乙個神經元的放電率，在中間斜率比較大的地方是神經元的敏感區，在兩邊斜率很平緩的地...
啟用函式總結
cnn rnn各種模型啟用函式總結 sigmoid函式是早期非常經典的啟用函式，輸出值在 0,1 之間，當輸入值為非常大負數時，值為0，當輸入值非常大正數時，值為1。sigmoid非常經典，但是現在它以不太受歡迎，原因是它存在乙個幾個比較大的缺陷，後面做詳細討論。tanh函式是sigmoid函式的一...