卷積神經網路中的1 1卷積

我們都知道，卷積核的作用在於特徵的抽取，越是大的卷積核尺寸就意味著更大的感受野，當然隨之而來的是更多的引數。早在2023年，lecun大神發布的letnet-5模型中就會出，影象空域內具有區域性相關性，卷積的過程是對區域性相關性的一種抽取。

但是在學習卷積神經網路的過程中，我們常常會看到一股清流般的存在—1*1的卷積！

比如在殘差網路的直連裡：

殘差網路的bootleneck殘差模組裡：

在googlenet的inception模組裡：

都有1*1卷積核的出現，那麼它到底是做什麼的？我們應該如何理解1*1卷積的原理？

當1*1卷積出現時，在大多數情況下它作用是公升/降特徵的維度，這裡的維度指的是通道數（厚度），而不改變的寬和高。

舉個例子，比如某次卷積之後的結果是w*h*6的特徵，現在需要用1*1的卷積核將其降維成w*h*5，即6個通道變成5個通道：

如下圖就是乙個w*h*6的特徵，而1*1的卷積核在圖上標出，卷積核自身的厚度也是6(圖畫的好難看！！)

通過一次卷積操作，w*h*6將變為w*h*1，這樣的話，使用5個1*1的卷積核，顯然可以卷積出5個w*h*1，再做通道的串接操作，就實現了w*h*5。

在這裡先計算一下引數數量，一遍後面說明，5個卷積核，每個卷積核的尺寸是1*1*6，也就是一種有30個引數。

我們還可以用另一種角度去理解1*1卷積，可以把它看成是一種全連線，如下圖：

第一層有6個神經元，分別是a1—a6，通過全連線之後變成5個，分別是b1—b5，第一層的六個神經元要和後面五個實現全連線，本圖中只畫了a1—a6連線到b1的示意，可以看到，在全連線層b1其實是前面6個神經元的加權和，權對應的就是w1—w6，到這裡就很清晰了：

第一層的6個神經元其實就相當於輸入特徵裡面那個通道數：6，而第二層的5個神經元相當於1*1卷積之後的新的特徵通道數：5。

w1—w6是乙個卷積核的權係數，如何要計算b2—b5，顯然還需要4個同樣尺寸的核。

最後乙個問題，影象的一層相比於神經元還是有區別的，這在於是乙個2d矩陣還是乙個數字，但是即便是乙個2d矩陣的話也還是只需要乙個引數（1*1的核），這就是因為引數的權值共享。

參考：