神經網路和深度學習(三)深層神經網路

2022-06-30 04:12:15 字數 1405 閱讀 9512

1、深層神經網路中的前向傳播:

(1)單資料情況:

z[1] = w[1]x + b[1]

a[1] = g[1](z[1])

z[2] = w[2]a[1] + b[2]

a[2] = g[2](z[2])

z[l] = w[l]a[l-1] + b[l]

a[l] = g[l](z[l]) = y^

(2)向量化情況:

z[1] = w[1]x + b[1]

a[1] = g[1](z[1])

z[2] = w[2]a[1] + b[2]

a[2] = g[2](z[2])

z[l] = w[l]a[l-1] + b[l]

a[l] = g[l](z[l]) = y^

2、神經網路矩陣的維數:

(1)單資料情況:

a[l]、z[l]、b[l]、db[l] : (n[l], 1)

w[l]、dw[l] : (n[l], n[l-1])

(2)向量化情況:

a[l]、z[l] : (n[l], m)

b[l]、db[l] : (n[l], 1)

w[l]、dw[l] : (n[l], n[l-1])

3、神經網路塊:

4、深層神經網路中的反向傳播:

(1)單資料情況:

dz[l] = da[l] * g[l]'(z[l])   ( = a[l] - y)

dw[l] = dz[l]a[l-1]t

db[l] = dz[l]

da[l-1] =  w[l]tdz[l]

dz[l-1] = da[l-1] * g[l-1]'(z[l-1])

(2)向量化情況:

dzl] = da[l] * g[l]'(z[l])   ( = a[l] - y)

dw[l] = 1/m * dz[l]a[l-1]t

db[l] = 1/m * np.sum(dz[l], axis=1,keepdims=true)

da[l-1] =  w[l]tdz[l]

dz[l-1] = da[l-1] * g[l]'(z[l]) 

5、引數與超引數:

parameters:w[1],b[1],w[2],b[2],... ...

hyper parameters:需要自己設定的引數,如:learning rate; #iterations; #hidden layer; #hidden units; #choice of activation function.

神經網路和深度學習 深層神經網路

dnn結構示意圖如圖所示 對於第 l 層神經網路,單個樣本其各個引數的矩陣維度為 w l n l n l 1 b l n l 1 在運算過程中,使用python的 廣播 將b 1 複製為 n l m m為訓練集大小dw l n l n l 1 db l n l 1 z l n l 1 a l z l...

深層神經網路 吳恩達神經網路和深度學習學習筆記

l2正則化又被稱作權重衰減,因為相當於在為正則化的基礎上將之前的 正則化為啥能降低過擬合?正則化會使一部分引數接近於0,相當於降低了一些隱藏層單元的影響,相對是模型變得簡單 因為神經網路使用了非線性啟用函式,但是當w比較小時,z通常也會比較小,對有些啟用函式來說會相對集中在近線性區,例如tanh中紅...

神經網路和深度學習 淺層神經網路

乙個淺層神經網路示意圖 如圖所示,表示乙個單隱層的網路結構。這裡主要需要注意的是,層與層之間引數矩陣的規格大小 隱藏層和輸出層之間 由上面我們可以總結出,在神經網路中,我們以相鄰兩層為觀測物件,前面一層作為輸入,後面一層作為輸出,兩層之間的w引數矩陣大小為 n out,nin b引數矩陣大小為 n ...