解釋一：如果是線性啟用函式：輸出y`是輸入x的線性組合，那麼無論神經網路有多少層，一直在做的只是計算線性啟用函式，所以不如直接去掉全部隱含層。線性隱含層一點用都沒有，因為兩個線性函式的組合本身就是線性組合。所以除非引入非線性，那麼無法計算更加有趣的函式，網路層數再多也不行。只有乙個地方可以使用線性啟用函式，就是如果要機器學習的就是回歸問題，要**的y是乙個實值，比如房價從0到inf，那麼用線性啟用函式也許可行但是影藏單元不能用線性啟用函式。
所以唯一能用線性啟用函式的地方通常是輸出層。
解釋二：從生物學的神經網路來說，突觸類似於隱含層，但是樹凸之間的啟用並不是線性的，是電訊號和化學訊號的轉化，是非線性傳播的。
非線性啟用函式
神經網路中，正向計算時，激勵函式對輸入資料進行調整，反向梯度損失。梯度消失需要很多方式去進行規避。表示式為 y x s igmo id x 11 e x y x in 0,1 y x y x 1 y x y in 14 該函式將輸入對映到 0,1 能否取到0和1，取決於計算機的精度 由導數可看出，最...
非線性啟用
如果神經元的輸出是輸入的線性函式，而線性函式之間的巢狀任然會得到線性函式。如果不加如飛西安新處理，那麼最終得到的仍然是線性函式。leaky relu,prelu,rrelu,elu,selu.他們讓relu在輸入小於0時有少量輸出，可略微改進效能，代價是速度會慢一些。f x x cdot sigma...
為什麼要使用非線性啟用函式
線性可分的情況下 邏輯回歸和線性回歸，無論是閉解形式還是凸優化都能高度擬合，但是線性不可分的情況下 xor異或函式 需要非線性對換資料的分布進行重新對映。對神經網路我們在神經網路中，對每一層線性變換後疊加乙個非線性啟用函式，以避免多層網路等效於單層線性函式，從而獲得更大的學習與擬合能力。使用啟用函式...