深度可分離卷積神經網路和標準卷積神經網路

深度可分離卷積神經網路是有moblienet引出來的概念。

mobilenet是為了在手機等嵌入式上可以執行計算所提出的一種卷積神經網路。這種網路的特點是參數量少，對硬體資源要求相對低。

參數量少是因為使用了深度可卷積神經網路代替了標準卷積神經網路。

雖然計算量降低了，但是同時準確性也降低了。這是在準確性和計算量之間的中庸之道。

深度可分離神經網路為什麼會大大降低計算量，同時又使準確性降低在可接受範圍之內呢？

1、首先要明白深度可分離卷積神經網路和標準卷積神經網路的計算方式的區別。

深度可分離卷積神經網路：

深度卷積+逐點卷積

深度卷積：

所謂的深度也就是影象的通道數，針對每個通道使用乙個卷積核，每個卷積核卷積完成後會產生乙個featuremap。

逐點卷積：

實際上採用的是1*1*3的標準卷積核，n個這樣的卷積核對上面的featuremap進行卷積操作後，得到了新的n個featuremap。

標準卷積神經網路：

乙個卷積核在進行卷積操作時，所有的通道都要管。n個這樣的卷積核對輸入影象進行卷積後，產生n個featureamp。

明白了上述操作之後，就可以計算引數數量了：

其中深度可分離卷積神經網路：wk*hk*dk==3 + wk==1*hk==1*dk==n

標準卷積神經網路：wk*hk*dk*n

深度可分離卷積網路

以 3,64,64 的input為例,假設我們要得到 4,64,64 的output.以3x3卷積核為例.常規的卷及操作如下圖所示 參數量共計3 x 3 x 3 x 4 108.深度可分離卷積可分為2個部分 常規卷積,卷積核是作用於所有的depth方向的.depthwise conv對不同chann...

可分離卷積 輕量級卷積神經網路

任何看過mobilenet架構的人都會遇到可分離卷積 separable convolutions 這個概念。但什麼是 可分離卷積 它與標準的卷積又有什麼區別？可分離卷積主要有兩種型別 空間可分離卷積 spatial separable convolutions 深度可分離卷積 depthwise ...

深度可分離卷積

下面這個文章介紹了深度可分離卷積是怎麼做的 本文的很多內容都是在這兩個文章的基礎上整理的。卷積基礎 描述乙個二維矩陣，使用row col。三維的，使用channel row col。四維則多了乙個引數 batch channel row col。batch channel row col的邏輯順序則...