非線性：即倒數不是常數。這個條件是多層神經網路的基礎，保證多層網路不退化成單層線性網路，這也是啟用函式的意義所在。
幾乎處處可微：可微保證了在優化中梯度的可計算性。傳統的啟用函式如sigmoid等滿足處處可微。對於分段線性函式比如relu只滿足幾乎處處可微。對於sgd演算法來說，由於幾乎不可能收斂到梯度接近零的位置，有限的不可微點對於優化結果不會有很大影響。
計算簡單：非線性函式有很多，但啟用函式在神經網路前向的計算次數與神經元的個數成正比，因此簡單的非線性函式更適合用作啟用函式。
非飽和性：飽和是指在某些區間梯度接近於零(即梯度消失)，使得引數無法繼續更新。
單調性：即倒數符號不變，這個性質大部分啟用函式都有，單調性使得在啟用函式處的梯度方向不會經常改變，從而讓訓練更容易收斂。
輸出範圍有限：有限的輸出範圍使得網路對於一些比較大的輸入也會比較穩定，這也是為什麼早期的啟用函式都以此類函式為主。
接近恒等變換：即約等於x。
引數少：大部分啟用函式都是沒有引數的。
歸一化：這是最近提出的概念，對應的啟用函式時selu，主要思想是使樣本分佈自動歸一化到零均值、單位方差的分布，從而穩定訓練。在這之前這種歸一化的思想也被用於網路結構的設計，比如batch normalization。
神經網路中的啟用函式
所謂啟用函式 activation function 就是在人工神經網路的神經元上執行的函式，負責將神經元的輸入對映到輸出端，也叫激勵函式。作用 因為線性模型的表達能力不夠，引入啟用函式是為了新增非線性因素。在神經網路中，每一層輸出的都是上一層輸入的線性函式，所以無論網路結構怎麼搭，輸出都是輸入的線...
神經網路中的啟用函式
作者 renu khandelwal 編譯 vk medium 啟用函式有助於決定我們是否需要啟用神經元。如果我們需要發射乙個神經元那麼訊號的強度是多少。啟用函式是神經元通過神經網路處理和傳遞資訊的機制 在神經網路中，z是輸入節點與節點權值加上偏差的乘積。z的方程與線性方程非常相似，取值範圍從 到 ...
神經網路啟用函式
2018,jul 23 學了深度學習也快近一年了，在學deep learning的時候什麼教程都去看，起初學起來也特別的雜亂，前面的基礎沒弄懂還一直往下學，自然導致我學到後面的時候有點崩潰什麼都看不懂，並且因為自己還是一名在校生，平常課程也非常多，沒有乙個連續的學習時間也導致我的學習是斷斷續續，在學...