1、深層神經網路中的前向傳播:
(1)單資料情況:
z[1] = w[1]x + b[1]
a[1] = g[1](z[1])
z[2] = w[2]a[1] + b[2]
a[2] = g[2](z[2])
z[l] = w[l]a[l-1] + b[l]
a[l] = g[l](z[l]) = y^
(2)向量化情況:
z[1] = w[1]x + b[1]
a[1] = g[1](z[1])
z[2] = w[2]a[1] + b[2]
a[2] = g[2](z[2])
z[l] = w[l]a[l-1] + b[l]
a[l] = g[l](z[l]) = y^
2、神經網路矩陣的維數:
(1)單資料情況:
a[l]、z[l]、b[l]、db[l] : (n[l], 1)
w[l]、dw[l] : (n[l], n[l-1])
(2)向量化情況:
a[l]、z[l] : (n[l], m)
b[l]、db[l] : (n[l], 1)
w[l]、dw[l] : (n[l], n[l-1])
3、神經網路塊:
4、深層神經網路中的反向傳播:
(1)單資料情況:
dz[l] = da[l] * g[l]'(z[l]) ( = a[l] - y)
dw[l] = dz[l]a[l-1]t
db[l] = dz[l]
da[l-1] = w[l]tdz[l]
dz[l-1] = da[l-1] * g[l-1]'(z[l-1])
(2)向量化情況:
dzl] = da[l] * g[l]'(z[l]) ( = a[l] - y)
dw[l] = 1/m * dz[l]a[l-1]t
db[l] = 1/m * np.sum(dz[l], axis=1,keepdims=true)
da[l-1] = w[l]tdz[l]
dz[l-1] = da[l-1] * g[l]'(z[l])
5、引數與超引數:
parameters:w[1],b[1],w[2],b[2],... ...
hyper parameters:需要自己設定的引數,如:learning rate; #iterations; #hidden layer; #hidden units; #choice of activation function.
神經網路和深度學習 深層神經網路
dnn結構示意圖如圖所示 對於第 l 層神經網路,單個樣本其各個引數的矩陣維度為 w l n l n l 1 b l n l 1 在運算過程中,使用python的 廣播 將b 1 複製為 n l m m為訓練集大小dw l n l n l 1 db l n l 1 z l n l 1 a l z l...
深層神經網路 吳恩達神經網路和深度學習學習筆記
l2正則化又被稱作權重衰減,因為相當於在為正則化的基礎上將之前的 正則化為啥能降低過擬合?正則化會使一部分引數接近於0,相當於降低了一些隱藏層單元的影響,相對是模型變得簡單 因為神經網路使用了非線性啟用函式,但是當w比較小時,z通常也會比較小,對有些啟用函式來說會相對集中在近線性區,例如tanh中紅...
神經網路和深度學習 淺層神經網路
乙個淺層神經網路示意圖 如圖所示,表示乙個單隱層的網路結構。這裡主要需要注意的是,層與層之間引數矩陣的規格大小 隱藏層和輸出層之間 由上面我們可以總結出,在神經網路中,我們以相鄰兩層為觀測物件,前面一層作為輸入,後面一層作為輸出,兩層之間的w引數矩陣大小為 n out,nin b引數矩陣大小為 n ...