卷積神經網路中用多個3 3的小卷積核代替大卷積核

2021-09-25 08:19:00 字數 1119 閱讀 7370

1、為什麼要使用3*3的卷積核?

(1)3x3是最小的能夠捕獲畫素八鄰域資訊的尺寸。

(2)兩個3x3的堆疊卷基層的有限感受野是5x5;三個3x3的堆疊卷基層的感受野是7x7,故可以通過小尺寸卷積層的堆疊替代大尺寸卷積層,並且感受野大小不變。

(3)多個3x3的卷基層比乙個大尺寸filter卷基層有更多的非線性(更多層的非線性函式,使用了3個非線性啟用函式)。

(4)多個3x3的卷積層比乙個大尺寸的filter有更少的引數,如三個3x3的卷積層引數個數3x((3x3xc)xc)=27c2;乙個(7x7xc)xc的卷積層引數為49c2。唯一的不足是,在進行反向傳播時,中間的卷積層可能會導致占用更多的記憶體;

第四條詳解:假設該卷積層的卷積核為3×3,為了清晰明了假設卷積層的輸入和輸出的特徵圖(featuremap)大小(其實是channel通道數)分別為c1,c2。說明:卷積核的應該是乙個多維的矩陣k×k×channels,其中channels是由輸入的featuremap的通道數決定的,而卷積層中卷積核的個數是由輸出的featuremap的通道數決定的,所以該卷積層的參數量是:(3×3×c1)× c2,說明:

(3×3×c1) —— 是每乙個卷積核的參數量;

× c2 —— 是總共c2個卷積核;

2、為什麼可以使用33的卷積核?

卷積核卷積後輸出尺寸:假設(input)尺寸為m×m,卷積核(filter)大小為k×k,填充(padding)為p,步長(stride)為s。

則卷積輸出(output)特徵圖大小為 = (m + 2p - k)/s +1

假設我們假設是2828的,

我們使用55的卷積核對其卷積,步長(stride)為1,填充(pad)為0,得到的結果是:(28-5)/1+1=24

然後我們使用2個卷積核為33的,這裡的兩個是指2層,同樣步長(stride)為1,填充(pad)為0

第一層33:

得到的結果是=(28-3 + 02)/1+1=26

第二層33:

得到的結果是=(26-3 +02)/1+1=24

所以我們的最終結果和55的卷積核是一樣的!!!

下圖更形象一些:

卷積神經網路中用1 1 卷積

假設我有乙個轉換層輸出 n,形張量 n批量大小 f是卷積濾波器的數量 是空間尺寸 假設將此輸出饋入v1的轉換層1x1過濾器,零填充和跨度1。然後此1x1轉換層的輸出將具有形狀 1 h 因此1x1轉換濾鏡可用於更改濾鏡空間中的尺寸。如果?1 那麼我們在增加維數,如果?1 我們正在降低維度,即過濾器維度...

神經網路的認識(三)卷積神經網路

卷積神經網路主要由以下五種結構組成 輸入層。輸入層是整個神經網路的輸入 在處理影象 的卷積神經網路中,它一般代表了一張的畫素矩陣。從輸入層開始 卷積神經網路通過不同的神經網路結構將上一層的三維矩陣轉化為下一層的三維矩陣 直到最後的全連線層。卷積層。從名字就可以看出,卷積層是乙個卷積神經網路中最為重要...

《1。卷積神經網路》

1.簡述卷積的基本操作,並分析其與全連線層的區別 答 具有區域性連線和權值共享的特點。卷積操作能夠在輸出資料中大致保持輸入資料的結構資訊 2.在卷積神經網路中,如何計算各層的感受野大小?答 3.卷積層的輸出尺寸 參數量和計算量 答 輸出尺寸 1.簡述分組卷積及其應用場景 答 分組卷積就是將輸入通道和...