在神經網路中，有乙個常用的啟用函式sigmoid函式，這個函式在高等數學中應該是有的，只是當時沒有理會。函式影象如下，本文主要主要梳理下相應的數學知識，具體的應用在後續的文章中會涉及。
本文涉及到數學公式，基本都是大學課本或者高中課本裡的，有興趣的一起來回憶下。
傳說乙個公式能少乙個粉絲，但是那也沒有辦法，神經網路離不開數學，有興趣的請堅持看下去，雖然有點無聊，但是也許你能了解些新的知識。
定義導數（derivative），也叫導函式值。又名微商，是微積分中的重要基礎概念。當函式y=f（x）的自變數x在一點x0上產生乙個增量δx時，函式輸出值的增量δy與自變數增量δx的比值在δx趨於0時的極限a如果存在，a即為在x0處的導數，記作f』（x0）或df（x0）/dx。
手動求導數
導數公式
x根據導數公式，很容易求的導數是:
y ˙=
2x+2
\dot = 2x+2
y˙=2x
+2順便說一下： 乙個多變數的函式的偏導數，就是它關於其中乙個變數的導數而保持其他變數恆定（相對於全導數，在其中所有變數都允許變化）
lnx的導數
lnx的導數是1/x，這個是眾所周知的，但是它是怎麼證明的，這裡就用到了導數的定義，下面是詳細的證明過程:
那麼這個重要極限又是怎麼證明的，
復合函式求導
復合函式求導公式：設u=g(x)，對f(u)求導得：f』(x)=f』(u)*g』(x)，設u=g(x),a=p(u)，對f(a)求導得：f』(x)=f』(a)*p』(u)*g』(x)。
計算機求導
計算機求導基於的是導數的定義。如果要計算x=3, y=4時關於x的f(x,y)的偏導數， 則可以計算f(3+ε,4) - f(3, 4)並將結果除以ε(使用極限的ε值)。這種型別的導數值稱為極限差分近似。
def
f(x, y)
:return x **
2* y + y +
2def
derivative
(f, x, y, x_eps, y_eps)
:return
(f(x + x_eps, y + y_eps)
- f(x, y))/
(x_eps + y_eps)
df_dx = derivative(f,3,
4,0.000001,0
)df_dy = derivative(f,3,
4,0,
0.000001
)print
(df_dx)
print
(df_dy)
24.000004003710274
9.99999999606871
按照手動求偏導的結果很接近了。 公式求偏導的結果是24和10。這個可以用來做檢驗。
導數還是很重要的，在優化演算法時候的梯度下降法中的梯度本質上就是導數。
神經網路學習之 Hopfield神經網路
1982年，美國加州理工學院的優秀物理學家hopfield提出了hopfield神經網路。hopfield神經網路引用了物理力學的分析方法，把網路作為一種動態系統並研究這種網路動態系統的穩定性。dhnn 離散型hopfield神經網路 這是一種單層全反饋網路，共有n個神經元。其特點是任一神經元的輸出...
神經網路學習
深度學習入門部落格 cnn 卷積神經網路 rnn 迴圈神經網路 dnn 深度神經網路 概念區分理解 deep learning 的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現資料的分布式特徵表示。深度學習是...
神經網路學習
1 神經元模型 神經網路最廣泛的定義 神經網路是由具有適應性的簡單單元組成的廣泛並行互聯的網路，他的組織能夠模擬生物神經系統對真實世界物體所作出的互動反應。神經網路中最基本的成分是神經元模型，即上述定義中的 簡單單元 在生物神經網路中，神經元之間相連，當某乙個 興奮 時，就會向相連的神經元傳送化學物...