步幅(stride)
步幅為s的卷積運算數學表示式
步幅大於乙個畫素的卷積在數學上等價於單位步幅的卷積隨後降取樣（down-sampling）
上圖表示兩種步幅(stride)為2的卷積運算方法，後者計算了許多被捨棄的值，在計算上是浪費的。
零填充（padding）
如果不加入零填充操作（即在輸入v的外圍用 0 填充），每層的輸出的寬度會隨著卷積層的深入而減小。縮減的幅度是比核少乙個畫素。假如使用的核(kernel)比較大，縮減的幅度就很大，那麼網路空間的寬度就會快速縮小。否則就必須要選擇乙個較小的核。
以下列出三種零填充情況。
有效卷積（valid）：無論如何不使用零填充操作。
優點：輸出的所有畫素都是輸入中相同數量畫素的函式；輸出畫素的表示比較規範。
缺點：加入輸入影象的寬度是m，核的寬度是k，那麼輸出的寬度就會變成 m-k+1 。當核的寬度比較大時，縮減率就非常顯著。因為縮減數大於0，所以此方法限制了網路中能夠包含的卷積層的層數。
相同卷積（same）：只進行足夠的零填充來保證輸入和輸出具有相同的大小。
優點：只要硬體支援，網路可以包含任意多層的卷積。
缺點：輸入畫素中靠近邊界的部分相比於中間部分對輸出畫素的影響更小。這可能導致邊界畫素存在一定的欠表示。
全卷積（full）：進行足夠多的零填充，使得每個畫素在每個方向上都恰好被訪問 k 次，最終輸出影象的寬度為 m+k-1 .
優點：。。。能應用更大的卷積核？？？
缺點：輸出畫素中靠近邊界的部分相比於中間部分是更少畫素的函式了（same convolution 的缺點 plus版）。這導致學得乙個在feature map所有位置都表現不錯的的單核更加困難。
通常零填充的最優數量（最優的標準是測試集的分類正確率）處於 「valid」 和 「same」 之間。
（對於上面三種零填充情況，更直觀的解釋請戳這裡）
兩種基本卷積函式的變種：區域性連線，平鋪卷積
運算示意：
由上到下依次為：區域性連線層、平鋪卷積層、標準卷積層。
區域性連線層的優點：如果 每乙個特徵都是一小塊空間的函式，並且相同的特徵不會出現在所有的空間上時，區域性連線層對各處的特徵都能很好的採集到。
平鋪卷積層是對區域性連線層和卷積層的折衷。既在近鄰位置上擁有了不同的過濾器，又不會增加太大的儲存開銷。引數的儲存需求僅會增長常數倍，這個常數就是核的集合的大小。
還有一些運算方式，相當於進一步限制了卷積或區域性連線層。如下圖所示
實現上述情況的通用方法是使輸出的前m個通道，僅僅連線到輸入的前n個通道，輸出的接下來的m個通道僅僅連線到輸入的接下來的n個通道。
這個方法可以使網路使用更少的引數，降低儲存消耗，減少前向和反向傳播的計算量。而且沒有減少隱藏單元的數目。
卷積神經網路筆記
一 卷積神經網路基礎 cnn是一種空間上共享引數的神經網路，它通過正向和反向傳播，自己學習識別物體。它可能有幾層網路構成，第一層是抽象層次的最底層，cnn一般把中的較小的部分識別成簡單的形狀，下一層將會上公升到更高的抽象層次，一般會識別更複雜的概念，以此類推，直至識別整個物體。cnn的學習方式 層次...
卷積神經網路筆記
卷積神經網路依舊是乙個可導的評分函式，該函式輸入為原始影象畫素，輸出是不同類別的評分。並假設輸入資料是影象，基於該假設，向結構中新增一些特有性質。常規神經網路的輸入是乙個向量，對大尺寸影象效果不好，效率低下，大量引數導致網路過擬合。神經元的各層三維排列 寬度，高度和深度 深度是指啟用函式資料體的第3...
雙流卷積網路閱讀筆記
2.光流疊加 將l個連續幀的光流通道堆疊，形成2l個輸入通道，表示了一系列幀之間的運動。任意幀的卷積網路輸入卷可構造為 輸入卷的第三項堆疊了l幀序列的水平和垂直向量場。3.軌跡堆疊 受基於軌跡的描述符的啟發，用沿運動軌跡取樣的光流替換在多個幀相同位置取樣的光流。構造輸入卷形式如下 pk表示了沿軌跡的...