f(*)稱為啟用函式或激勵函式（activation function），啟用函式的主要作用是完成資料的非線性變換，解決線性模型的表達、分類能力不足的問題;
啟用函式的主要作用是改變之前資料的線性關係，如果網路中全部是線性變換，則多層網路可以通過矩陣變換，直接轉換成一層神經網路。所以啟用函式的存在，使得神經網路的「多層」有了實際的意義，使網路更加強大，增加網路的能力，使它可以學習複雜的事物，複雜的資料，以及表示輸入輸出之間非線性的複雜的任意函式對映。
啟用函式的另乙個重要的作用是 執行資料的歸一化，將輸入資料對映到某個範圍內，再往下傳遞，這樣做的好處是可以限制資料的擴張，防止資料過大導致的溢位風險。
這裡還要提一下：為什麼要使用非線性的啟用函式？
因為如果使用線性的啟用函式，那麼輸入x跟輸出y之間的關係為線性的，便可以不需要網路結構，直接使用線性組合便可以。只有在輸出層極小可能使用線性啟用函式，在隱含層都使用非線性啟用函式。
由 y = w * x + b 可知，如果不用啟用函式，每個網路層的輸出都是一種線性輸出，而我們所處的現實場景，其實更多的是各種非線性的分布。
這也說明了啟用函式的作用是將線性分布轉化為非線性分布，能更逼近我們的真實場景。
神經網路中的啟用函式的作用和選擇
神經網路 啟用函式的作用
啟用函式是神經網路的乙個重要組成部分。如果不用啟用函式 即相當於啟用函式為f x x 在這種情況下，網路的每一層的輸入都是上一層的線性輸出，因此，無論該神經網路有多少層，最終的輸出都是輸入的線性組合，與沒有隱藏層的效果相當，這種情況就是最原始的感知機。例如，對於乙個二分類問題，如下圖 利用單層的感知...
神經網路啟用函式的作用
神經網路激勵函式的作用是什麼？乙個單層的感知機,也是我們最常用的神經網路組成單元啦.用它可以劃出一條線,把平面分割開，那麼很容易地我們就會想用多個感知機來進行組合,獲得更強的分類能力,這是沒問題的。可以發現,這樣乙個神經網路組合起來,輸出的時候無論如何都還是乙個線性方程,說好的非線性分類呢 祭出主菜...
神經網路中的啟用函式
所謂啟用函式 activation function 就是在人工神經網路的神經元上執行的函式，負責將神經元的輸入對映到輸出端，也叫激勵函式。作用 因為線性模型的表達能力不夠，引入啟用函式是為了新增非線性因素。在神經網路中，每一層輸出的都是上一層輸入的線性函式，所以無論網路結構怎麼搭，輸出都是輸入的線...