前四篇我們已經詳細的介紹了卷積神經網路的結構與組成，這篇我們將對卷積神經網路做乙個總結，內含各種技巧介紹和調參經驗，不要錯過哦！
1. deep learning是全部深度學習演算法的總稱，卷積神經網路是深度學習演算法在影象處理領域的乙個應用。
2. fully connection神經網路最大的缺陷在於很難提取到有用的特徵而deep neural networks能夠自主地從資料上學到有用的feature。特別適合在一些不知道如何設計feature的場合。
3. deep learning強大的地方就是可以利用網路中間某一層的輸出當做是資料的另一種表達，從而可以將其認為是經過網路學習到的特徵。基於該特徵，可以進行進一步的操作。
4. 卷積神經網路的區域性感知野網路結構降低了網路的複雜度，減少了權值的數量。
5. 卷積神經網路的權值共享結構，由於同一特徵對映面上的神經元權值相同，所以網路可以並行學習。
6. 卷積神經網路是為識別影象而特殊設計的乙個多層感知器，這種網路結構對平移、比例縮放、傾斜或者其他形式的變形具有高度不變性。
7. relu的使用，使得網路可以自行引入稀疏性。這一做法，等效於無監督學習的預訓練。
8. 所有的權重都應該用一些不同的小隨機數進行初始化。
9. 多層神經網路初始化隱含層不能簡單置零。這樣會很容易找到區域性最小值。
10. 每個dl都有眾多的引數，少量資料無法將引數訓練充分。
1. 池化矩陣一般為2*2，對於非常大的影象可以使用4*4。如果取值過大，可能會損失掉太多的資訊。
2. 如果網路的最後一層是softmax分類器的話似乎其前一層就不能用relu。
3. 無需在cost function裡加入正則項，因為cnn的權重共享相同於自帶某種正則化。(此點道理上說的通，還需詳細考究)
4. deep learning中大部分啟用函式應該選擇relu。
5. 使用帶
momentum
的nesterov's accelerated gradient descent方法可以更快的收斂。
6. dropout一定要用！
7. 的augmentation一定要做, 這是你與別人拉開差距的方式之一。
8. 有些時候可以對進行適當的手動裁剪。
9. 引數的繼承可以讓你有更多的時間去調整模型。(引數繼承也可理解是監督式的pre-training)
初窺卷積神經網路，只會使用theano, lasagne, nolearn, caffe, 這些庫構建卷積神經網路。有機會自己寫遍整個流程會對卷積神經網路有更清晰的認知吧。
原文發於部落格
：gmx 2015.10.21 us pacific time
神奇的卷積神經網路 一
卷積神經網路是一種特殊的多層神經網路，它是deep learning中的乙個演算法，現在主要應用在影象處理領域中。既然說它是deep learning中的乙個演算法，那麼就需要有大量的資料來支援，作為乙個深度的神經網路，引數動輒百萬以上，如果樣本數過小很容易造成overfitting。卷積神經網路可...
神奇的卷積神經網路 二
上篇，我們介紹了卷積神經網路的兩大殺器 區域性感知野 和 權值共享。這篇我將會繼續介紹卷積神經網路的結構 多卷積核 和 池化。在說到權值共享的時候，我們說到乙個卷積核 濾波器 肯定是無法充分的提取影象中的特徵。那麼怎麼辦呢？乙個卷積核可以提取一種特徵，我們可以很自然的想到多個卷積核就可以提取多種特徵...
神奇的卷積神經網路 四
relu的全稱是rectified layer units，它是一層使用非飽和啟用函式的神經元。神經網路通常使用sigmoid 和 tanh 作為非線性啟用函式，它確實比早期的線性啟用函式有好的多的效果。但在深度神經網路中，如果不使用pre traning，會導致gradient vanishing...