參考知乎一篇文章h一文讀懂卷積神經網路中的1x1卷積核
撿點核心做下記錄:
降維/公升維
由於 1×1 並不會改變 height 和 width,改變通道的第乙個最直觀的結果,就是可以將原本的資料量進行增加或者減少。這裡看其他文章或者部落格中都稱之為公升維、降維。但我覺得維度並沒有改變,改變的只是 height × width × channels 中的 channels 這乙個維度的大小而已.
增加非線性
1*1卷積核,可以在保持feature map尺度不變的(即不損失解析度)的前提下大幅增加非線性特性(利用後接的非線性啟用函式),把網路做的很deep。
備註:乙個filter對應卷積後得到乙個feature map,不同的filter(不同的weight和bias),卷積以後得到不同的feature map,提取不同的特徵,得到對應的specialized neuron。
跨通道資訊互動(channal 的變換)
例子:使用1x1卷積核,實現降維和公升維的操作其實就是channel間資訊的線性組合變化,3x3,64channels的卷積核後面新增乙個1x1,28channels的卷積核,就變成了3x3,28channels的卷積核,原來的64個channels就可以理解為跨通道線性組合變成了28channels,這就是通道間的資訊互動[7]。
注意:只是在channel維度上做線性組合,w和h上是共享權值的sliding window
1X1卷積核作用
從nin 到googlenet mrsa net 都是用了這個,為什麼呢?發現很多網路使用了1x1卷積核,這能起到什麼作用呢?另外我一直覺得,1x1卷積核就是對輸入的乙個比例縮放,因為1x1卷積核只有乙個引數,這個核在輸入上滑動,就相當於給輸入資料乘以乙個係數。不知道我理解的是否正確。ruirui ...
詳解 1x1 卷積核
表面看來,1x1 卷積核似乎並不是真正的濾波器,它只是將影象的每個點都乘以 1 個權重,再加上 1個偏置 因此,通過 n個 1x1 卷積核,只需少量引數,就能將 m張影象變為 n張影象 如需將影象分為 n類,可在最後用 1x1 卷積層 將 m張影象轉換為 n張影象,在通過全域性池化變為 n個數字,送...
1x1卷積的作用
1x1卷積的作用 在架構內容設計方面,其中乙個比較有幫助的想法是使用1x1的卷積。這裡用1x1的過濾器進行卷積似乎用處不大。只是對輸入矩陣乘以某個數字。但這僅僅是對於6x6x1的通道來說1x1卷積效果不佳。如果是一張6x6x32的,那麼使用1x1過濾器進行卷積效果更好。具體來說 1x1卷積所要實現的...