cnn/rnn各種模型啟用函式總結
sigmoid函式是早期非常經典的啟用函式，輸出值在 [0,1] 之間，當輸入值為非常大負數時，值為0，當輸入值非常大正數時，值為1。sigmoid非常經典，但是現在它以不太受歡迎，原因是它存在乙個幾個比較大的缺陷，後面做詳細討論。
tanh函式是sigmoid函式的一種變種，取值範圍為 [-1 , 1]，它解決了sigmoid函式的非0均值的問題，公式、影象以及導數影象如下圖所示：
目前比較受歡迎的啟用函式是relu，公式簡單，但是非常好用，公式如下所示，輸入小於0時輸出為0，大於0時輸出為本身。
relu解決的問題：
1、解決了梯度消失的問題
2、公式簡單沒有指數運算，計算快
3、x>0時，梯度為1，無梯度耗散問題，收斂速度快
relu存在的問題：
可能出現神經元死亡，權重無法更新：首先複習前向傳播和反向傳播。
啟用函式總結
一 主要作用 啟用函式的主要作用就是加入非線性因素，以解決線性模型表達能力不足的缺陷，在整個神經網路起到至關重要的作用。在神經網路中常用的啟用函式有sigmoid tanh和relu等，下面逐一介紹。二 sigmod函式 1 函式介紹 sigmoid是常用的非線性的啟用函式，數學公式如下 2 函式曲...
啟用函式總結
1.sigmod函式 函式公式和圖表如下圖 在sigmod函式中我們可以看到，其輸出是在 0,1 這個開區間內，這點很有意思，可以聯想到概率，但是嚴格意義上講，不要當成概率。sigmod函式曾經是比較流行的，它可以想象成乙個神經元的放電率，在中間斜率比較大的地方是神經元的敏感區，在兩邊斜率很平緩的地...
啟用函式總結
在神經網路中，啟用函式的作用是能夠給神經網路加入一些非線性因素，使得神經網路可以更好地解決較為複雜的問題。先舉乙個簡單的例子，在做二分類時，我們的 值y wtx b widehat w x b y wtx b，其中w和b為引數，我們希望得到乙個範圍是 0,1 的概率值，而如果直接使用上式進行計算會導...