深度可分離卷積 深度卷積 逐點卷積

深度可分離卷積=深度卷積(depthwise convolution) + 逐點卷積(pointwise convolution)。

分組卷積(group convolution)：

輸入通道數cin

c_ci

n​，輸出通道數cou

tc_cout

​, 將輸入feature map分為g

gg組，每組分別卷積，最後進行拼接。

分組卷積作用：

引數量減少為原來的1/g

1/g1/

g分組前：cin

cout

k2c_c_k^2

cin​co

ut​k

2分組後：cin

gcou

tgco

utk2

g=ci

ncou

tk2g

\displaystyle \frac}g\frac}gc_k^2g=\fracc_k^2}g

gcin​​

gcou

t​​c

out​

k2g=

gcin

​cou

t​k2

​分組卷積可看做結構化稀疏(structured sparse)，相當於正則。

分組卷積中，令分組數 g=c

in=c

outg = c_ = c_

g=cin​

=cou

t​，分組卷積就成了深度卷積，參數量進一步減少。

逐點卷積就是1x1的普通卷積。

因為深度卷積沒有融合通道間資訊，所以需要配合逐點卷積使用。

深度可分離卷積

下面這個文章介紹了深度可分離卷積是怎麼做的 本文的很多內容都是在這兩個文章的基礎上整理的。卷積基礎 描述乙個二維矩陣，使用row col。三維的，使用channel row col。四維則多了乙個引數 batch channel row col。batch channel row col的邏輯順序則...

深度可分離卷積

如果乙個卷積核代表乙個影象的屬性的話，上圖的方法就只能提取到乙個屬性。那麼如果想要多個屬性就需要多個卷積核 上圖中是最常見的卷積方法，使用多個卷積核來提取多個屬性。但是存在引數量過大的情況 先用三個卷積核對三個通道分別卷積，再對得到的結果進行1x1的卷積，這時候只要增加1 1卷積核的個數就能對應的增...

深度可分離卷積

3.實際應用 假設輸入層為乙個大小為64 64畫素 三通道彩色。經過乙個包含4個filter的卷積層，最終輸出4個feature map，且尺寸與輸入層相同。整個過程可以用下圖來概括 卷積層共有4個filters，每個filter有3個kernel，每個kernel的大小為3x3，因此卷積層的引數數...