作為神經網路的基本單元——神經元的結構如下圖所示，在乙個神經元中f函式通常被稱為啟用函式（激勵函式，傳遞函式）。它的引入參考的是生物神經元，生物神經元一般具有啟用態與抑制態兩種模態，當從其他神經元接收的生物訊號大於某一閾值後神經元就會變為啟用態，否則則為抑制態，因而最初的啟用函式（sigmoid，tanh）都具有s型的曲線。而對於人工神經網路而言啟用函式起到的作用可以說就是進行非線性變換，增加系統的非線性表達能力，沒有其他的作用，所以相對於sigmoid，tanh這些比較複雜的啟用函式，後來又提出了簡單的多的非線性啟用函式relum（max(0,x)）以及prelu（x = -x if x <0 x = x else），這些簡單非線性啟用函式的引入可以加快了網路的訓練速度。
在現在火熱的卷積神經網路cnn中，我們定義網路結構的時候通常會在卷積層後跟乙個啟用層，通常使用relu。如果是全卷積網路fcn那麼在作為輸出層的最後一層卷積層後我們會根據我們資料的預處理方法來加啟用層（或者不加啟用層），通常如果輸入的資料沒有做歸一化中心化處理我們會使用relu（去掉負值），如果資料做了歸一化沒做中心化那麼使用sigmoid函式（0~1），如果做了做中心化沒做歸一化通常就不跟啟用函式了，如果做了歸一化、中心化就是用tanh（-1，1）。
啟用函式總結
一 主要作用 啟用函式的主要作用就是加入非線性因素，以解決線性模型表達能力不足的缺陷，在整個神經網路起到至關重要的作用。在神經網路中常用的啟用函式有sigmoid tanh和relu等，下面逐一介紹。二 sigmod函式 1 函式介紹 sigmoid是常用的非線性的啟用函式，數學公式如下 2 函式曲...
啟用函式總結
1.sigmod函式 函式公式和圖表如下圖 在sigmod函式中我們可以看到，其輸出是在 0,1 這個開區間內，這點很有意思，可以聯想到概率，但是嚴格意義上講，不要當成概率。sigmod函式曾經是比較流行的，它可以想象成乙個神經元的放電率，在中間斜率比較大的地方是神經元的敏感區，在兩邊斜率很平緩的地...
啟用函式總結
cnn rnn各種模型啟用函式總結 sigmoid函式是早期非常經典的啟用函式，輸出值在 0,1 之間，當輸入值為非常大負數時，值為0，當輸入值非常大正數時，值為1。sigmoid非常經典，但是現在它以不太受歡迎，原因是它存在乙個幾個比較大的缺陷，後面做詳細討論。tanh函式是sigmoid函式的一...