通過logistic曲線就可以知道
sigmoid函式的導數是以它本身為因變數的函式,即f(x)' = f(f(x))
sigmoid函式是乙個閥值函式,不管x取什麼值,對應的sigmoid函式值總是∈(0,1)
1、證明f(x)' = f(f(x))
所以 sigmoid函式的值域∈(0,1),這與概率值的範圍[0,1]很是巧合,我們可以把sigmoid函式與乙個概率分布聯絡起來,那就是伯努利分布。
伯努利分布的概率質量函式為:
2、證明伯努利分布也屬於指數分布族
指數分布族的一般表示式
伯努利分布的概率質量函式為:
由此可知,伯努利分析也是屬於指數分布族
3、sigmoid函式的數學公式推導
由伯努利分布
屬於指數分布族,,
, 可知p的值域恆
(0,1)
關於sigmoid函式
sigmoid函式是乙個良好的閾值函式,連續,光滑 嚴格單調 關於 0,0.5 中心對稱 對閾值函式有乙個良好的近似 原函式 f x 1 1 e x 其導數f x f x 1 f x 可以節約計算時間 其中,當你寫 的時候,如果f x 不好寫,你可以寫成f x ex 1 ex的形式,其中ex是pow...
S型函式 Sigmoid 函式
sigmoid函式,即f x 1 1 e x 神經元的非線性作用函式。x是冪數 人工神經網路的學習演算法 bp演算法 神經網路的學習是基於一組樣本進行的,它包括輸入和輸出 這裡用期望輸出表示 輸入和輸出有多少個分量就有多少個輸入和輸出神經元與之對應。最初神經網路的權值 weight 和閾值 thre...
S型函式 Sigmoid 函式
sigmoid函式,即f x 1 1 e x 神經元的非線性作用函式。x是冪數 人工神經網路的學習演算法 bp演算法 神經網路的學習是基於一組樣本進行的,它包括輸入和輸出 這裡用期望輸出表示 輸入和輸出有多少個分量就有多少個輸入和輸出神經元與之對應。最初神經網路的權值 weight 和閾值 thre...