最近思考了一下關於「卷積神經網路」該如何去理解的問題。很多文章說，越到後邊的卷積層，就會有組合多個特徵的能力。但是我們每個卷積層不是有很多卷積核嗎，每個卷積核不是濾波器嗎，前幾層把特徵都濾掉了。怎麼得到的如下所示的圖？
後來我想到可以這樣理解：假設乙個卷積核可以過濾出橫線，而且過濾效果非常好，那麼影象經過它之後應該就變成一堆長短不一的橫線。假設乙個卷積核可以過濾出豎線，而且過濾效果非常好，那麼影象經過它之後應該就變成一堆長短不一的豎線。這樣肯定不行。所以濾波器不能過濾的太過火，示例程式在隨機生成卷積核的時候，隨機數方差也不大。只有在過濾得不徹底的情況下，影象經過第乙個卷積核以後，橫線當然明顯，豎線也還有殘留。然後經過第二個卷積核，他又把豎線的特徵放大，橫線的特徵也有所保留。這樣經過多層卷積以後，一些組合特徵便會出現。
同時也可以思考，池化時選擇最大化效果更好：讓特徵盡快凸顯。
再考慮，全連線層需要多少？我覺得一層就夠了。因為多個全連線層是非線性選擇器。而之前我們已經由許多個卷積核、許多層卷積核過濾除了特徵的各種組合，在這裡已經沒有必要了。
有些神經網路，處於前面的神經元要越過中間層向後邊的卷積層提供輸入，應該因為多層濾波器會丟失一些特徵，通過這些方法進行彌補。
這張圖比較好，可以看到那些畫素能夠通過神經網路的濾波器。神經網路事實上在做擬合。
卷積神經網路的理解
cnn中減少引數的2兩個規則 1 區域性感知。生物學中，視覺皮層的神經元是區域性感知資訊的，只響應某些特定區域的刺激 影象的空間聯絡中，區域性的畫素聯絡較為緊密，距離較遠的畫素相關性較弱。這個對應於演算法中卷積核的大小，mnist手寫識別在28 28的畫素中取patch為5 5。上圖中 左邊是全連線...
一維卷積神經網路的理解
設輸入的資料維度是b x s x t 一維卷積神經網路在維度s上進行卷積 如下，設定一維卷積網路的輸入通道為16維，輸出通道為33維，卷積核大小為3，步長為2 in channels 16 out channels 33 kernel size 3 m nn.conv1d 16,33,3,strid...
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習，聯想起之前所學，感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律，e mc 描述了恆星發光的奧秘，v h d哈勃定律描述了宇宙膨脹的奧秘，自然界的大部分現象和規律都可以用數學函式來描述，也就是可以求得乙個函式。神經網路 簡單又...