我們用人工神經網路來表述輸入x與輸出y之間複雜的關係，用數學語言來說，就是用人工神經網路來實現複雜的函式；
如果使用線性啟用函式，那麼無論神經網路中有多少層，都只是在做線性運算，最後一層得到的結果是輸入層的線性組合，而輸入層的線性組合，用一層隱藏層就可以表示，也就是說，多層的隱藏層運算後的結果等同於一層的結果，那麼這麼多隱藏層就沒有意義了，還不如去掉。因此，隱藏層的啟用函式必須是要非線性的；
非線性啟用函式可以使神經網路隨意逼近各種複雜函式。
為什麼神經網路需要非線性啟用函式
生物神經網路啟發了人工神經網路的發展，在了解為什麼神經網路需要非線性啟用函式之前，理解生物神經網路的工作原理對我們是有幫助的。乙個典型的生物神經元的物理結構包括細胞體 樹突 軸突。樹突具有接受刺激並將衝動傳入細胞體的功能，細胞體具有聯絡和整合輸入資訊並傳出資訊的作用，軸突的主要功能是將神經衝動由細胞...
人工神經網路基礎 為什麼神經網路選擇了「深度」？
現在提到 神經網路 和 深度神經網路 會覺得兩者沒有什麼區別，神經網路還能不是 深度 deep 的嗎？我們常用的 logistic regression 就可以認為是乙個不含隱含層的輸出層啟用函式用 sigmoid logistic 的神經網路，顯然 logistic regression 就不是 ...
如何畫神經網路 為什麼線性回歸也是神經網路
今天我們來講講線性回歸和神經網路的關係。首先說結論，線性回歸其實也是個神經網路，其實不光是線性回歸，多項式回歸，邏輯回歸等等也都可以看成是乙個神經網路。考慮到大家可能對線性回歸或者神經網路的概念有那麼點疑惑，這裡簡單的講講什麼是線性回歸和神經網路。如圖所示，我們可以很輕易的看出來，y軸上的變數正隨著...