神經網路之啟用函式

前面的部落格啟用函式簡要的了解了一下什麼是啟用函式，現在在正則化和神經網路模組化中突然遇到了啟用函式，所以下面主要講解一下我對啟用函式的理解；

def forward(x, regularizer):#

前向傳播
w1 = get_weight([2,11], regularizer)#
設定權重    
b1 = get_bias([11])#
設定偏執
y1 = tf.nn.relu(tf.matmul(x, w1) + b1)#
計算圖w2 = get_weight([11,1], regularizer)#
設定權重
b2 = get_bias([1])#
設定偏執
y = tf.matmul(y1, w2) + b2 #
計算圖return y#
返回值

那什麼是啟用函式呢？

如上圖，在y=h(b=w1x1+w2x2)中引入了乙個啟用函式h(x);將y由原來的判斷b=w1x1+w2x2是否大於0改為判斷h(x)中x的值是否大於0,而x的值則由w1x1+w2x2來決定，這就引入了啟用函式；

啟用函式：在於決定如和來啟用輸入訊號的總和；

那啟用函式的作用又是什麼？應該選取什麼樣的啟用函式呢？

首先，啟用函式一般選取非線性函式，啟用函式的作用：就是引入非線性啟用因素，提高模型抗干擾能力；

我們來看看引入線性的啟用函式會怎麼樣，如下圖

會發現，如果是線性函式，則不管引入幾層，最後還是乙個形如最開始的線性啟用函式。

下面簡要介紹一下各個啟用函式；

神經網路之啟用函式

定義 所謂啟用函式 activation function 就是在人工神經網路的神經元上執行的函式，負責將神經元的輸入對映到輸出端。判定每個神經元的輸出 通俗來說，啟用函式一般是非線性函式，其作用是能夠給神經網路加入一些非線性因素，使得神經網路可以更好地解決較為複雜的問題。常見的啟用函式 1.sig...

神經網路啟用函式

2018,jul 23 學了深度學習也快近一年了，在學deep learning的時候什麼教程都去看，起初學起來也特別的雜亂，前面的基礎沒弄懂還一直往下學，自然導致我學到後面的時候有點崩潰什麼都看不懂，並且因為自己還是一名在校生，平常課程也非常多，沒有乙個連續的學習時間也導致我的學習是斷斷續續，在學...

啟用函式 神經網路

andrew的 neural networks and deep learning 課程學習筆記 如圖所示，是乙個簡單的三層神經網路，如果只使用線性啟用函式或者恒等啟用函式 不使用啟用函式 那麼神經網路的輸出就只是輸入函式的線性變化，因為線性啟用函式的組合依然是線性啟用函式。這種情況下，不管使用多少...