批訓練（batch trainning）：
一次訓練一批（比如50個）樣本，在nn或cnn中，對一批樣本在同相同引數的網路上進行前向過程和誤差傳導過程，然後把梯度求和加更新網路引數。
優點：訓練速度可也更快，同批中的各樣本可並行訓練。
dropout：
模型訓練的時候隨機讓某些權重不更新。
優點：為了防止過擬合。
可參看：
動態學習率：
通常迭代訓練的過程中使學習率越來越小。
優點：先學習率大，網路快速收斂。後學習率小，適合網路微調，不容易產生抖動。
data augment，資料增大
通常是對樣本進行偏移、小角度旋轉、輕微縮放，產生新的有擾動的樣本，增大樣本級。
優點：樣本增多，訓練的模型抗干擾能力（泛化能力、魯棒性）增強。因為模型偏移、旋轉、縮放的樣本都能識別了。
如果是無監督的學習，比如dbn，使用無標籤的資料參與預訓練。
網路模型訓練技巧
事先對影象資料進行處理。比如有10萬的資料，現在對這些資料都進行一次變換，那麼就有了20萬資料。最常見的操作就是對資料進行翻倍，翻10 20倍都是有可能的。水平翻轉，這種操作最常見也最實用，因為沒有任何瑕疵。當出現例如人臉被部分遮住的情況，為了讓計算機識別這種，我們可以人為的加上這種遮蔽現象。這種處...
模型訓練技巧 CutMix
官方 簡單來講，就是從a圖中隨機擷取乙個矩形區域，用該矩形區域的畫素替換掉b圖中對應的矩形區域，從而形成一張新的組合。同時，把標籤按照一定的比例 矩形區域所佔整張圖的面積 進行線性組合計算損失。中的表達形式如下 將和標籤進行了線性組合。def cutmix criterion criterion,p...
caffe模型訓練小技巧
一 學習率調整 乙個對於排程學習率的建議 如果在驗證集上效能不再增加就讓學習率除以2或者5，然後繼續，學習率會一直變得很小，到最後就可以停止訓練了 二 finetun微調 finetune的過程相當於繼續訓練，跟直接訓練的區別是初始化的時候 a.直接訓練是按照網路定義指定的方式初始化 如高斯隨機初始...