從1.1感知機可知，感知機的啟用函式為階躍函式。當使用連續函式作為啟用函式時，就進入了神經網路範疇。
本節介紹一下神經網路中常用的啟用函式。
首先，上公式：
然後，上圖：
階躍函式和 sigmoid 函式雖然在平滑性上有差異，但是如果從巨集觀視角看圖 2，可以發現它們具有相似的形狀。實際上，兩者的結構均是「輸入小時，輸出接近 0（為 0）；隨著輸入增大，輸出向 1 靠近（變成 1）」。也就是說，當輸入訊號為重要資訊時，階躍函式和 sigmoid 函式都會輸出較大的值；當輸入訊號為不重要的資訊時，兩者都輸出較小的值。還有乙個共同點是，不管輸入訊號有多小，或者有多大，輸出訊號的值都在 0 到 1 之間。
當x大於0時，relu函式輸出x的實際值，當x小於等於0時，relu函式輸出0.
上圖：
sigmoid函式使用較早，但現在常用的是relu函式。
2018-12-19
by joanna @casia
什麼是啟用函式？常用的啟用函式
啟用函式是神經網路中的重要一環，也是神經網路之所以能叫 神經網路 的原因。初中應該就學過關於神經元的知識了。神經系統的結構和功能的基本單位是神經元，神經元的基本結構包括細胞體和突起兩部分神經元的功能是神經元接受刺激並能產生興奮 神經衝動 並能把興奮傳導到其它的神經元。也就是說其作用主要有三個 接受刺...
啟用函式作用
在神經網路結構中，通過啟用函式將非線性的特性引入到神經網路中，從而讓神經網路可以理解 處理複雜的資料及問題。通常啟用函式的形式可以寫成 y f x 這裡的 x 是啟用函式f 的輸入，y 是 x經過啟用函式變換得到的輸出。通過f 將原來的輸入 x 對映成為另外一種形式表達y。通常在神經網路結構中常用的...
啟用函式總結
一 主要作用 啟用函式的主要作用就是加入非線性因素，以解決線性模型表達能力不足的缺陷，在整個神經網路起到至關重要的作用。在神經網路中常用的啟用函式有sigmoid tanh和relu等，下面逐一介紹。二 sigmod函式 1 函式介紹 sigmoid是常用的非線性的啟用函式，數學公式如下 2 函式曲...