bat機器學習面試1000題系列（第1~305題） - csdn部落格
為什麼引入非線性激勵函式？深度學習 dl基礎 中
線性激勵函式下，多層網路與一層網路相當
。比如，兩層的網路f(w1*f(w2x))=w1w2x=wx。
第二，非線性變換是深度學習有效的原因之一。原因在於
非線性相當於對空間進行變換，變換完成後相當於對問題空間進行簡化，原來線性不可解的問題現在變得可以解了。
下圖可以很形象的解釋這個問題，左圖用一根線是無法劃分的。經過一系列變換後，就變成線性可解的問題了。
如果不用激勵函式（其實相當於激勵函式是f(x) = x），在這種情況下你每一層輸出都是上層輸入的線性函式，很容易驗證，
無論你神經網路有多少層，輸出都是輸入的線性組合，與沒有隱藏層效果相當，這種情況就是最原始的感知機
（perceptron）了。
正因為上面的原因，我們決定引入非線性函式作為激勵函式，這樣深層神經網路就有意義了（不再是輸入的線性組合，可以逼近任意函式）。最早的想法是sigmoid函式或者tanh函式，輸出有界，很容易充當下一層輸入（以及一些人的生物解釋）。
為什麼需要乙個激勵函式
那首先第乙個問題,什麼是激勵函式呢?首先用簡單的語句進行概括,就好比我們的現實總是殘酷的,而我們周圍的生活也是時刻發生這變化的,那其實所謂的激勵函式就是來去解決我們在機器學習中無法用線性方程去解決的問題,那麼這個時候你可能會想,什麼是線性方程呢?那這個時候,我們其實就可以討論如何在神經網路中描述線性...
為什麼要使用非線性啟用函式
線性可分的情況下 邏輯回歸和線性回歸，無論是閉解形式還是凸優化都能高度擬合，但是線性不可分的情況下 xor異或函式 需要非線性對換資料的分布進行重新對映。對神經網路我們在神經網路中，對每一層線性變換後疊加乙個非線性啟用函式，以避免多層網路等效於單層線性函式，從而獲得更大的學習與擬合能力。使用啟用函式...
為什麼神經網路需要非線性啟用函式
生物神經網路啟發了人工神經網路的發展，在了解為什麼神經網路需要非線性啟用函式之前，理解生物神經網路的工作原理對我們是有幫助的。乙個典型的生物神經元的物理結構包括細胞體 樹突 軸突。樹突具有接受刺激並將衝動傳入細胞體的功能，細胞體具有聯絡和整合輸入資訊並傳出資訊的作用，軸突的主要功能是將神經衝動由細胞...