sigmoid函式 Sigmoid函式推導

2021-10-12 17:04:30 字數 589 閱讀 7322

通過logistic曲線就可以知道

sigmoid函式的導數是以它本身為因變數的函式,即f(x)' = f(f(x))

sigmoid函式是乙個閥值函式,不管x取什麼值,對應的sigmoid函式值總是∈(0,1)

1、證明f(x)' = f(f(x))

所以 sigmoid函式的值域∈(0,1),這與概率值的範圍[0,1]很是巧合,我們可以把sigmoid函式與乙個概率分布聯絡起來,那就是伯努利分布。

伯努利分布的概率質量函式為:

2、證明伯努利分布也屬於指數分布族

指數分布族的一般表示式

伯努利分布的概率質量函式為:

由此可知,伯努利分析也是屬於指數分布族

3、sigmoid函式的數學公式推導

由伯努利分布

屬於指數分布族,,

, 可知p的值域恆

(0,1)

關於sigmoid函式

sigmoid函式是乙個良好的閾值函式,連續,光滑 嚴格單調 關於 0,0.5 中心對稱 對閾值函式有乙個良好的近似 原函式 f x 1 1 e x 其導數f x f x 1 f x 可以節約計算時間 其中,當你寫 的時候,如果f x 不好寫,你可以寫成f x ex 1 ex的形式,其中ex是pow...

S型函式 Sigmoid 函式

sigmoid函式,即f x 1 1 e x 神經元的非線性作用函式。x是冪數 人工神經網路的學習演算法 bp演算法 神經網路的學習是基於一組樣本進行的,它包括輸入和輸出 這裡用期望輸出表示 輸入和輸出有多少個分量就有多少個輸入和輸出神經元與之對應。最初神經網路的權值 weight 和閾值 thre...

S型函式 Sigmoid 函式

sigmoid函式,即f x 1 1 e x 神經元的非線性作用函式。x是冪數 人工神經網路的學習演算法 bp演算法 神經網路的學習是基於一組樣本進行的,它包括輸入和輸出 這裡用期望輸出表示 輸入和輸出有多少個分量就有多少個輸入和輸出神經元與之對應。最初神經網路的權值 weight 和閾值 thre...