一、卷積相關
1、靠近資料層的卷積的數量一般會比後面卷積層的輸出要少，例子vgg16後面的conv層輸出通道比剛開始要多
2、在輸入的影象解析度較低時，不宜使用跨度太大的stride_size。
3、卷積層可以很好的保留位置資訊，如果要做位置資訊的提取，那麼可以從這個層中提取出來。
4、卷積層之間最好是加入啟用層，引入非線性特性。而且應該避免連續使用好幾個卷積層。
5、對於一些檢測任務，卷積層可以作為直接的輸出。
6、卷積層可以作為特徵點位置的輸出。
二、調參
2.1 不變資料調參的基本原則
1）對於資料集固定的網路，要分成多個組，這點與傳統方法一致。每次選取乙個組做測試，多個組分別完成訓練，進行多次測試，才能檢驗網路的泛化能力。
2）一般來講，當訓練集不大時，訓練的網路極易過擬合，換而言之就是train-loss一定會收斂，但是test-loss不會收斂。
3）當訓練集不大時，盡量選取簡單的網路開始訓練，比如將10000張作為訓練集，網路可以簡化到lenet結構。
4）根據train-loss和test-loss曲線判斷網路是否已經訓練好，最終會得到乙個比較理想的模型，其train-loss和test-loss曲線應該幾乎重合，或者說非常靠近。
5）
關於神經網路訓練的一些建議筆記
1.train loss不斷下降，test loss不斷下降，網路正在學習 2.train loss不斷下降，test loss趨於不變，網路過擬合，需要增大資料 減小網路規模dropout 權重衰減或正則化l2等 3.train loss趨於不變，test loss趨於不變，遇到瓶頸，需要減少學習...
神經網路如何調參，自己的一些心得和實戰經驗
神經網路的調參十分重要，很多人都說深度學習是乙個黑箱模型，有人戲稱深度學習為 煉丹 但是深度學習歸根結底是乙個數學優化的過程，超引數對於模型的效果影響很大。網上文章也有很多，比如梯度 應該怎麼辦，學習率怎麼調整，選什麼樣的優化器等等。下面我就說一下自己的一些心得以及借鑑的別人的一些想法。為了訓練神經...
關於神經網路的調參經驗技巧和調參順序
二 調參順序 三 一句總結 一 模型方面基本上都做得非常好了，因此真正需要調的引數其實並不多了，或者說調很多引數實際帶來的提公升都非常小了。二 在訓練乙個深度學習模型的過程中，超引數選擇什麼最優，這是乙個基於實驗和經驗的過程。需要不停的嘗試，直到找到合適的引數值。調參就是trial and erro...