網路模型訓練技巧

2021-09-24 08:38:45 字數 469 閱讀 3364

事先對影象資料進行處理。比如有10萬的資料,現在對這些資料都進行一次變換,那麼就有了20萬資料。

最常見的操作就是對資料進行翻倍,翻10-20倍都是有可能的。

水平翻轉,這種操作最常見也最實用,因為沒有任何瑕疵。

當出現例如人臉被部分遮住的情況,為了讓計算機識別這種,我們可以人為的加上這種遮蔽現象。這種處理可以使得模型的泛化能力更強。在實際情況中我們要裁剪到什麼的大小才合理呢?拿最終效果來評估。

最常見的操作是translation [-20,20],rotation [-10°,10°],對資料進行隨機的選擇並非認為設定。

利用別人訓練好的模型權重引數,來作為自己模型的初始權重引數。比自己從0開始訓練模型效果要好得多。在資料量小的情況下 我們需要對其進行微調。當資料量可以的時候,我們可以固定其中的一部分,訓練剩下的那部分。

在利用別人訓練好的模型引數時要注意別人的任務型別和自己的一不一致?

公開的模型庫資源位址。

模型訓練技巧(待續)

批訓練 batch trainning 一次訓練一批 比如50個 樣本,在nn或cnn中,對一批樣本在同相同引數的網路上進行前向過程和誤差傳導過程,然後把梯度求和加更新網路引數。優點 訓練速度可也更快,同批中的各樣本可並行訓練。dropout 模型訓練的時候隨機讓某些權重不更新。優點 為了防止過擬合...

模型訓練技巧 CutMix

官方 簡單來講,就是從a圖中隨機擷取乙個矩形區域,用該矩形區域的畫素替換掉b圖中對應的矩形區域,從而形成一張新的組合。同時,把標籤按照一定的比例 矩形區域所佔整張圖的面積 進行線性組合計算損失。中的表達形式如下 將和標籤進行了線性組合。def cutmix criterion criterion,p...

caffe模型訓練小技巧

一 學習率調整 乙個對於排程學習率的建議 如果在驗證集上效能不再增加就讓學習率除以2或者5,然後繼續,學習率會一直變得很小,到最後就可以停止訓練了 二 finetun微調 finetune的過程相當於繼續訓練,跟直接訓練的區別是初始化的時候 a.直接訓練是按照網路定義指定的方式初始化 如高斯隨機初始...