在神經網路結構中，通過啟用函式將非線性的特性引入到神經網路中，從而讓神經網路可以理解、處理複雜的資料及問題。
通常啟用函式的形式可以寫成：y=
f(x)
。這裡的
x 是啟用函式f(
.)的輸入，
y 是
x經過啟用函式變換得到的輸出。通過f(
.)將原來的輸入
x 對映成為另外一種形式表達y。
通常在神經網路結構中常用的啟用函式有：
1.sigmoid函式： f(
x)=1
e(−x
)+1.
2.tanh函式： f(
x)=1
−e(−
2x)1
+e(−
2x)
3.relu函式： f(
x)=m
ax(0
,x)
4.leaky relu, rrelu等等
在神經網路結構中，通常網路結構是一種這樣的結構：神經元-啟用函式-神經元-啟用函式…。也即在每個神經元計算得到乙個輸出後，再將輸出輸入到乙個啟用函式f(
.)，對神經元的輸出做乙個非線性變換得到當前網路層的最終輸出結果。這樣設計的一種多層次神經網路通常可以擬合任何目標函式。而如果將神經元後面的啟用函式移除，則整個神經網路模型就變成乙個簡單線性函式，而此時的神經網路只能解決簡單的線性可分或者回歸問題，對於複雜的問題，比如：影象分類、語音識別、以及機器翻譯等等，簡單的線性函式則不能很好的處理上述這些複雜的問題。在神經網路的每個網路層後面都新增乙個啟用函式，則可以對每個網路層的輸出做乙個非線性變換，整個神經網路就變成了乙個十分複雜的非線性函式。此時的神經網路就變得十分強大，可以處理上述很多複雜的問題。使它可以學習複雜的事物，複雜的表單資料，以及表示輸入輸出之間非線性的複雜的任意函式對映。
[1].
[2].
啟用函式的作用
首先提一下啟用函式的一般形式，在我平時的學習中，我遇到過的一般是這四種形式，simoid,tanh,relu,softplus。s imoi d函式也 稱s曲線 f x 11 e x tanh f x tanh x relu f x m ax x 0 softmax f x lo g 1 exp x...
啟用函式的作用
引知乎上的回答 啟用函式是用來加入非線性因素的，因為線性模型的表達能力不夠。以下，同種顏色為同類資料。某些資料是線性可分的，意思是，可以用一條直線將資料分開。比如下圖 這時候你需要通過一定的機器學習的方法，比如感知機演算法 perceptron learning algorithm 找到乙個合適的線...
啟用函式的作用
使用pytorch弄乙個單層網路，但是啟用函式選擇線性函式，不然永遠達不到要求，啟用函式的作用，摘自知乎。f 稱為啟用函式或激勵函式 activation function 啟用函式的主要作用是完成資料的非線性變換，解決線性模型的表達 分類能力不足的問題 啟用函式的主要作用是改變之前資料的線性關係，...