面試問題 1 1卷積的作用

2021-10-03 21:19:01 字數 402 閱讀 9468

一維卷積通常用於序列模型中,所以在自然語言處理中,通常使用的是一維卷積。

1、公升維和降維,通常將一維卷積當做全連線使用

2、加入非線性。卷積層之後經過激勵層,1*1 的卷積在前一層的學習表示上新增了非線性激勵( non-linear activation ),提公升網路的表達能力;

3、跨通道資訊互動(channal 的變換)第一點說的公升維和降維通常是通道間的變換,3*3,64channels 的卷積核前面新增乙個 1*1,28channels 的卷積核,就變成了 3*3,28channels 的卷積核,原來的 64 個 channels 就可以理解為跨通道線性組合變成了 28channels,這就是通道間的資訊互動。

參考 

1 1卷積核的作用

如何理解跨通道的資訊互動和整合呢?首先還得從三維卷積的計算開始。如圖所示,藍色部分是乙個7 7 n 維數 的feature map,黃色塊為3 3 3的卷積核,將卷積核對應到藍色特徵中可以得到乙個紅色陰影區域,舉個具體的例子 假設卷積核所有的引數都為1。那麼紅色部分的數值 1 1 4 1 3 1 2...

1 1卷積詳解

可以看作對某個區域性的加權求和 它是對應區域性感知,它的原理是在觀察某個物體時我們既不能觀察每個畫素也不能一次觀察整體,而是先從區域性開始認識,這就對應了卷積。卷積核的大小一般有1x1,3x3和5x5的尺寸。卷積核的個數就對應輸出的通道數,這裡需要說明的是對於輸入的每個通道,輸出每個通道上的卷積核是...

1 1卷積核的作用和原理

1 1的卷積作用 1.常常用於降維 降通道數 其實也可以用於公升高維度。2.增加了跨通道的資訊互動 3.增加了非線性。這個存疑 原理 從圖的下部可以看出,使用1 1 5的卷積,在4 4 5的特徵圖上遍歷整個寬和高 4 4 相當於在寬高做加乘,得到4 4 1的特徵圖。也就是用3個 1 1的卷積,可以得...