吳恩達 卷積神經網路 學習筆記(上)

2021-10-05 18:06:06 字數 1449 閱讀 1312

卷積層池化層

鏈結層卷積神經網路的優點

殘差網路 -解決梯度消失與梯度**

github的使用 -學會clone別人訓練好的模型

遷移學習

資料增強

卷積神經網路可以將由1281283中的長寬進行壓縮,而且在壓縮過程中引數會比普通神經網路(全連線層)的引數少很多。而且每一層都比普通網路更具針對性(對邊緣格外敏感等),正因為如此卷積是為了處理大而產生的。

濾波器的原理是原與乙個n*n大的小進行矩陣運算?

由於濾波器對邊緣畫素點不是那麼敏感(相對於中間的畫素點),如果想要提高邊緣的畫素點敏感度,需要padding(填充畫素)對原進行處理然後再使用濾波器。

填充的畫素一般為純色.

如果想要讓得到的影象與原圖大小相同的話則需要填充p=(f-1)/2個畫素點(這裡的步幅為1)該方法叫same卷積決定濾波器在原圖上移動的步幅大小。

其中n為原圖長寬(正方形)

p為padding

s為步幅

f為濾波器的邊長

r es

ult=

n+2p

−fs+

1.result = s}+1.

result

=sn+

2p−f

​+1.

如果結果不為整數,則向下取整

卷積層與普通網路中的每乙個節點一樣,都有線性階段和relu階段

卷積首先是通過濾波器進行線性變化,整個濾波器的引數就是之前普通網路中的w,然後通過非線性階段

a [i

]=g(

w[i]

a[i−

1]+b

[i])

.a^ =g(w^a^+b^).

a[i]=g

(w[i

]a[i

−1]+

b[i]

).最終生成乙個卷積層

池化層一般只有最大池化和平均池化,池化的意思通俗的理解是在乙個濾波器的範圍內選取之中最有代表性的乙個值作為影象改變後的結果,這個值可以是濾波器範圍內所有畫素的平均值,也可以是這些畫素中的最大最小值。

在經過卷積和池化後,將卷積池化後的影象展開成向量進行全連線,這一步就是普通的神經網路操作,最後通過softmax等函式得出結果。

解釋:i層的線性結果以引數的形式傳遞到i+n層的非線性公式中

解釋:從i層跳到i+n層就算乙個殘差塊

有了殘差網路,增加層數的同時,保證效率不會下降,在非線性變化時,新增乙個殘差a[i]就可以保證。不然隨著網路層數的增加,梯度消失與梯度**的出現會使準確率會有所下降。

一般protext就是模型每一層的引數檔案

在別人訓練好的模型及引數上自己再進行調整,如果資料量不多,吳老師建議我們只對最後的輸出層進行調參;反之,適當選擇後部的部分層,以別人的引數作為初始化進行訓練。

映象對稱

修剪色彩轉換

吳恩達《卷積神經網路》

一 yolo algorithm 把輸入的分割成3x3個格仔或19x19個格仔,每個格仔進行檢測輸出八個特徵,3x3就輸出3x3x8個向量。yolo演算法的優點是不需要乙個演算法跑很多次。相反這是單次卷積實現,在處理計算時很多步驟都是共享的,而且執行速度非常快可以達到實時識別。物件中點的座標在哪個格...

吳恩達 卷積神經網路

卷積神經網路 卷積操作 設輸入n,filter為f,padding為p,步長 stride 為s 則卷積 不滿足結合律,滿足結合律還需要對filter進行水平和垂直翻轉 之後影象大小為 n 2p f s 1 向下取整 rgb影象卷積操作 同時相乘相加,三個channel輸出乙個值 為什麼cnn可以避...

吳恩達 卷積神經網路

1 灰度影象,邊緣檢測,使用核函式的缺點,影象的向量會不斷的縮小,另外乙個就是邊緣的向量相比於中間的向量被覆蓋的次數會少很多。解決這個的方法就是padding在影象的周圍再新增一圈向量。2 核函式通常是奇數維向量 3 卷積層,池化層 選出某一區域的最大值,另外還有 平均池化,就是求乙個小區域的均值 ...