elu函式
elu函式公式和曲線如下圖
elu函式是針對relu函式的乙個改進型，相比於relu函式，在輸入為負數的情況下，是有一定的輸出的，而且這部分輸出還具有一定的抗干擾能力。這樣可以消除relu死掉的問題，不過還是有梯度飽和和指數運算的問題。
prelu函式
prelu函式公式和曲線如下圖
prelu也是針對relu的乙個改進型，在負數區域內，prelu有乙個很小的斜率，這樣也可以避免relu死掉的問題。相比於elu，prelu在負數區域內是線性運算，斜率雖然小，但是不會趨於0，這算是一定的優勢吧。
我們看prelu的公式，裡面的引數α一般是取0~1之間的數，而且一般還是比較小的，如零點零幾。當α=0.01時，我們叫prelu為leaky relu，算是prelu的一種特殊情況吧。
什麼是啟用函式？常用的啟用函式
啟用函式是神經網路中的重要一環，也是神經網路之所以能叫 神經網路 的原因。初中應該就學過關於神經元的知識了。神經系統的結構和功能的基本單位是神經元，神經元的基本結構包括細胞體和突起兩部分神經元的功能是神經元接受刺激並能產生興奮 神經衝動 並能把興奮傳導到其它的神經元。也就是說其作用主要有三個 接受刺...
啟用函式和損失函式
啟用函式 在之前的logistic和神經網路中，啟用函式是sigmoid,損失函式是平方函式。但是這並不是固定的。啟用函式的主要作用是提供網路的非線性建模能力。只有加入了啟用函式之後，深度神經網路才具備了分層的非線性對映學習能力。常見的啟用函式多是分段線性和具有指數形狀的非線性函式。損失函式 其中y...
啟用函式作用
在神經網路結構中，通過啟用函式將非線性的特性引入到神經網路中，從而讓神經網路可以理解 處理複雜的資料及問題。通常啟用函式的形式可以寫成 y f x 這裡的 x 是啟用函式f 的輸入，y 是 x經過啟用函式變換得到的輸出。通過f 將原來的輸入 x 對映成為另外一種形式表達y。通常在神經網路結構中常用的...