1、深層神經網路中的前向傳播：
（1）單資料情況：
z[1] = w[1]x + b[1]
a[1] = g[1](z[1])
z[2] = w[2]a[1] + b[2]
a[2] = g[2](z[2])
z[l] = w[l]a[l-1] + b[l]
a[l] = g[l](z[l]) = y^
（2）向量化情況：
z[1] = w[1]x + b[1]
a[1] = g[1](z[1])
z[2] = w[2]a[1] + b[2]
a[2] = g[2](z[2])
z[l] = w[l]a[l-1] + b[l]
a[l] = g[l](z[l]) = y^
2、神經網路矩陣的維數：
（1）單資料情況：
a[l]、z[l]、b[l]、db[l] : (n[l], 1)
w[l]、dw[l] : (n[l], n[l-1])
（2）向量化情況：
a[l]、z[l] : (n[l], m)
b[l]、db[l] : (n[l], 1)
w[l]、dw[l] : (n[l], n[l-1])
3、神經網路塊：
4、深層神經網路中的反向傳播：
（1）單資料情況：
dz[l] = da[l] * g[l]'(z[l]) ( = a[l] - y)
dw[l] = dz[l]a[l-1]t
db[l] = dz[l]
da[l-1] = w[l]tdz[l]
dz[l-1] = da[l-1] * g[l-1]'(z[l-1])
（2）向量化情況：
dzl] = da[l] * g[l]'(z[l]) ( = a[l] - y)
dw[l] = 1/m * dz[l]a[l-1]t
db[l] = 1/m * np.sum(dz[l], axis=1,keepdims=true)
da[l-1] = w[l]tdz[l]
dz[l-1] = da[l-1] * g[l]'(z[l])
5、引數與超引數：
parameters：w[1]，b[1]，w[2]，b[2]，... ...
hyper parameters：需要自己設定的引數，如：learning rate; #iterations; #hidden layer; #hidden units; #choice of activation function.
神經網路和深度學習 深層神經網路
dnn結構示意圖如圖所示 對於第 l 層神經網路，單個樣本其各個引數的矩陣維度為 w l n l n l 1 b l n l 1 在運算過程中，使用python的 廣播 將b 1 複製為 n l m m為訓練集大小dw l n l n l 1 db l n l 1 z l n l 1 a l z l...
深層神經網路 吳恩達神經網路和深度學習學習筆記
l2正則化又被稱作權重衰減，因為相當於在為正則化的基礎上將之前的 正則化為啥能降低過擬合？正則化會使一部分引數接近於0，相當於降低了一些隱藏層單元的影響，相對是模型變得簡單 因為神經網路使用了非線性啟用函式，但是當w比較小時，z通常也會比較小，對有些啟用函式來說會相對集中在近線性區，例如tanh中紅...
神經網路和深度學習 淺層神經網路
乙個淺層神經網路示意圖 如圖所示，表示乙個單隱層的網路結構。這裡主要需要注意的是，層與層之間引數矩陣的規格大小 隱藏層和輸出層之間 由上面我們可以總結出，在神經網路中，我們以相鄰兩層為觀測物件，前面一層作為輸入，後面一層作為輸出，兩層之間的w引數矩陣大小為 n out,nin b引數矩陣大小為 n ...