卷積網路，也叫做 卷積神經網路(convolutional neural network, cnn)，是一種專門用來處理具有類似網格結構的資料的 神經網路。例如時間序列資料(可以認為是在時間軸上有規律地取樣形成的一維網 格)和影象資料(可以看作是二維的畫素網格)。卷積網路在諸多應用領域都表現優 異。卷積是一種特殊的線性運算。卷積網路是指那些至少在網路的一層中使用卷積運算來替代一般的矩陣乘法運算的神經網路。
2.稀疏互動(sparse interactions)
也叫做 稀疏連線(sparse connectivity)或者 稀疏權重sparse weights))的特徵。這是使卷積神經網路中核的大小（維度）遠小於輸入的大小（維度）來達到的。舉個例子， 當處理一張影象時，輸入的影象可能包含成千上萬個畫素點，但是我們可以通過只 占用幾十到上百個畫素點的核來檢測一些小的有意義的特徵，例如影象的邊緣。這 意味著我們需要儲存的引數更少，不僅減少了模型的儲存需求，而且提高了它的統 計效率。這也意味著為了得到輸出我們只需要更少的計算量。這些效率上的提高往 往是很顯著的。
3.平移不變性
是指當我們對輸入進行少量平移時，經 過池化函式後的大多數輸出並不會發生改變。區域性平移不變性是乙個很有用的性質，尤其是當我們關心某個特徵是否出現 而不關心它出現的具體位置時。例如，當判定一張影象中是否包含人臉時，我們並 不需要知道眼睛的精確畫素位置，我們只需要知道有乙隻眼睛在臉的左邊，有乙隻在右邊就行了。
4.池化函式
池化函式使用某一位置的相鄰輸出的總體統計特徵來代替網路在該位置的輸出。 例如， 最大池化(max pooling)函式給出相鄰矩形區 域內的最大值。其他常用的池化函式包括相鄰矩形區域內的平均值、l2 範數以及基於據中心畫素距離的加權平均函式。不管採用什麼樣的池化函式，當輸入作出少量平移時，池化能夠幫助輸入的表示近似不變(invariant)。
5.步幅（cnn中的）
我們有時會希望跳過核中的一些位置來降低計算的開銷(相應的代價是提取特徵沒有先前那麼好了)。我們可以把這一過程看作是對全卷積函式輸出的下取樣 (downsampling)。如果我們只想在輸出的每個方向上每間隔 s 個畫素進行取樣，那麼我們可以定義乙個下取樣卷積函式 c 使得
我們把 s 稱為下取樣卷積的 步幅(stride)。當然也可以對每個移動方向定義不同的步幅。
6.平鋪卷積(tiled convolution)
平鋪卷積對卷積層和區域性連線層進行了折衷。這裡並不是對每乙個空間位置的權重集合進行學習， 我們學習一組核使得當我們在空間移動時它們可以迴圈利用。這意味著在近鄰的位置上擁有不同的過濾器，就像區域性連線層一樣，但是對於這些引數的儲存需求僅僅會增長常數倍，這個常數就是核的集合的大小，而不是整個輸出的特徵對映的大小。
其實就是有幾個卷積核，然後大家迴圈來用，不像標準卷積只有乙個卷積核，也不用區域性連線層每個都不一樣。
7.可分離的(separable)
當乙個 d 維的核可以表示成 d 個向量(每一維乙個向量)的外積時，該核被稱為可分離的。當核可分離時，樸素的卷積是低效的。它等價於組合 d 個一維卷積，每個卷積使用這些向量中的乙個。組合方法顯著快於使用它們的外積來執行乙個 d 維的卷積。並且核也只要更少的引數來表示成向量。如果核在每一維都 是 w 個元素寬，那麼樸素的多維卷積需要 o(wd) 的執行時間和引數儲存空間，而可 分離卷積只需要 o(w × d) 的執行時間和引數儲存空間。當然，並不是每個卷積都可 以表示成這種形式。
二.tips
1.將小的區域性區域上的相同線性變換應用到整個輸入上，卷積是描述這種變換的極其有效的方法。
2.當我們提到神經網路中的卷積時，我們通常是指由多個並行卷積組成的 運算。這是因為具有單個核的卷積只能提取一種型別的特徵，儘管它作用在多個空 間位置上。我們通常希望網路的每一層能夠在多個位置提取多種型別的特徵。
機器學習術語總結 1 個人向
一.術語解釋 1.數值解與閉解 解析解 數值解就是具體的值，如 x 1,y 2 這類的。閉解就是用函式所表達出來的解，如 x y t 等 2.最大似然估計 是用來估計乙個概率模型的引數的一種方法。簡單來說就是，比如我又乙個樣本x1,x2,x3.xn,它服從某個以 最大似然估計就是求 3.元件 機器學...
機器學習術語總結 2 個人向
一.術語 1.凸集 在點集拓撲學與歐幾里得空間中，凸集 convex set 是乙個點集合，其中每兩點之間的直線點都落在該點集合中。2e.凸函式凸函式是乙個定義在某個向量空間的凸子集 c 區間 上的實值函式 f，如果在其定義域 則是凸函式，上述不等式中，左部分是介於x和y之間的一點，右部分是基於線性...
機器學習術語總結 4 個人向
1.雙曲正切啟用函式 2.徑向基函式 radial basis function,rbf 常見的隱藏單元型別之一，徑向基函式是乙個取值僅依賴於到原點距離的實值函式，即 3.架構 architecture 神經網路設計的另乙個關鍵點是確定它的架構。架構一詞是指網路的整體結構 它應該具有多少單元，以及這...