作者|renu khandelwal
編譯|vk
**|medium
啟用函式有助於決定我們是否需要啟用神經元。如果我們需要發射乙個神經元那麼訊號的強度是多少。
啟用函式是神經元通過神經網路處理和傳遞資訊的機制
在神經網路中，z是輸入節點與節點權值加上偏差的乘積。z的方程與線性方程非常相似，取值範圍從+∞到-∞
如果神經元的值可以從負無窮到正無窮變化，那麼我們就無法決定是否需要啟用神經元。這就是啟用函式幫助我們解決問題的地方。
如果z是線性的，那麼我們就不能解決複雜的問題。這是我們使用啟用函式的另乙個原因。
有以下不同型別的啟用函式
為什麼我們需要這麼多不同的啟用函式，我怎麼決定用哪乙個呢?
讓我們回顧一下每乙個啟用函式，並了解它們的最佳使用位置和原因。這將幫助我們決定在不同的場景中使用哪個啟用函式。
這是最簡單的函式
如果z值高於閾值，則啟用設定為1或yes，神經元將被啟用。
如果z值低於閾值，則啟用設定為0或no，神經元不會被啟用。
它們對二分類很有用。】
sigmoid函式是一種光滑的非線性函式，無扭結，形狀類似於s形。
它**輸出的概率，因此被用於神經網路和邏輯回歸的輸出層。
由於概率範圍在0到1之間，所以sigmoid函式值存在於0到1之間。
但是如果我們想分類更多的是或不是呢?如果我想**多個類，比如**晴天、雨天或陰天，該怎麼辦?
softmax啟用有助於多類分類
sigmoid啟用函式用於兩類或二類分類，而softmax用於多類分類，是對sigmoid函式的一種推廣。
在softmax中，我們得到了每個類的概率，它們的和應該等於1。當乙個類的概率增大時，其他類的概率減小，因此概率最大的類是輸出類。
例如:在**天氣時，我們可以得到輸出概率，晴天為0.68，陰天為0.22，雨天為0.20。在這種情況下，我們以最大概率的輸出作為最終的輸出。在這種情況下我們**明天將是晴天。
softmax計算每個目標類的概率除以所有可能的目標類的概率。
對於雙曲tanh函式，輸出以0為中心，輸出範圍在-1和+1之間。
看起來很像sigmoid。實際上雙曲tanh是縮放的s形函式。與sigmoid相比，tanh的梯度下降作用更強，因此比sigmoid更受歡迎。
tanh的優點是，負輸入將被對映為強負，零輸入將被對映為接近零，這在sigmoid中是不會發生的，因為sigmoid的範圍在0到1之間
relu本質上是非線性的，這意味著它的斜率不是常數。relu在0附近是非線性的，但斜率不是0就是1，因此具有有限的非線性。
範圍是從0到∞
當z為正時，relu的輸出與輸入相同。當z為0或小於0時，輸出為0。因此，當輸入為0或低於0時，relu會關閉神經元。
所有的深度學習模型都使用relu，但由於relu的稀疏性，只能用於隱含層。稀疏性指的是空值或「na」值的數量。
當隱層暴露於一定範圍的輸入值時，relu函式將導致更多的零，從而導致更少的神經元被啟用，這將意味著更少的神經網路互動作用。
relu比sigmoid或tanh更積極地開啟或關閉神經元
relu的挑戰在於，負值變為零降低了模型正確訓練資料的能力。為了解決這個問題，我們有leaky relu
a的值通常是0.01
在leaky relu中，我們引入了乙個小的負斜率，所以它的斜率不是0。這有助於加快訓練。
leaky relu的範圍從-∞到+∞
歡迎關注磐創ai部落格站：
sklearn機器學習中文官方文件：
歡迎關注磐創部落格資源彙總站：
神經網路中的啟用函式
所謂啟用函式 activation function 就是在人工神經網路的神經元上執行的函式，負責將神經元的輸入對映到輸出端，也叫激勵函式。作用 因為線性模型的表達能力不夠，引入啟用函式是為了新增非線性因素。在神經網路中，每一層輸出的都是上一層輸入的線性函式，所以無論網路結構怎麼搭，輸出都是輸入的線...
神經網路啟用函式
2018,jul 23 學了深度學習也快近一年了，在學deep learning的時候什麼教程都去看，起初學起來也特別的雜亂，前面的基礎沒弄懂還一直往下學，自然導致我學到後面的時候有點崩潰什麼都看不懂，並且因為自己還是一名在校生，平常課程也非常多，沒有乙個連續的學習時間也導致我的學習是斷斷續續，在學...
啟用函式 神經網路
andrew的 neural networks and deep learning 課程學習筆記 如圖所示，是乙個簡單的三層神經網路，如果只使用線性啟用函式或者恒等啟用函式 不使用啟用函式 那麼神經網路的輸出就只是輸入函式的線性變化，因為線性啟用函式的組合依然是線性啟用函式。這種情況下，不管使用多少...