離線增強::直接對資料集進行處理，資料的數目會變成增強因子×原資料集的數目，這種方法常常用於資料集很小的時候
warmup:訓練初期由於離目標較遠，一般需要選擇大的學習率，但是使用過大的學習率容易導致不穩定性。所以可以做乙個學習率熱身階段，在開始的時候先使用乙個較小的學習率，然後當訓練過程穩定的時候再把學習率調回去
label smoothing（標籤平滑）：（解決 one-hot的缺點）
one-hot帶來的問題:
對於損失函式，我們需要用**概率去擬合真實概率，而擬合one-hot的真實概率函式會帶來兩個問題:
1)無法保證模型的泛化能力，容易造成過擬合;
2)全概率和0概率鼓勵所屬類別和其他類別之間的差距盡可能加大，而由梯度有界可知，這種情況很難adapt。繪造成模型過於相信**的類別
label smoothing增加了模型的泛化能力，一定程度上防止過擬合。
多折交叉驗證的出現是為了解決 ：一般情況下，會留乙份驗證集來計算指標，但是，多留乙份驗證集，就意味著少了乙份訓練集，如果能多乙份驗證集來訓練，就很有可能提高指標，所以多折交叉驗證出現了，較好解決了這個問題，讓所有資料集都參加了訓練，又擁有指標
**方式：
1.將所有訓練的kfold進行融合
2最優模型重新訓練全部資料後**
1、nms(非極大值抑制)
同乙個物體可能有好幾個框，我們的目標是乙個物體只須保留乙個最優的框:於是我們就要用到非極大值抑制，來抑制那些冗餘的框:抑制的過程是乙個迭代-遍歷-消除的過程。
2、soft nms
不要粗魯地刪除所有iou大於閾值的框，而是降低其置信度
包括:a、光照處理:調整影象的亮度、對比度、色相、飽和度、噪點
b、幾何處理:隨機縮放、裁剪、翻轉、旋轉
隨機選擇影象中的矩形區域並填充0的隨機值或者互補值
隨機或者均勻選擇影象中的多個矩形區域並填充0
dropout ,dropconnect , dropblock（訓練的時候用的，**的時候禁用）
mixup用兩張圖
cutmix用不同角度的裁剪區域
a-fast-rcnn：基於對抗生成網路的方式來生成困難樣本
focal loss:損失函式的權重調整
ghm：損失函式梯度均衡化機制
特徵金字塔spp、rfb、aspp
通道注意力機制se、空間注意力機制sam
skip connection、hyper-colomn fpn
mish啟用函式：
mish優點
深度學習模型訓練小技巧
這篇文章主要介紹一些在深度學習模型訓練時的一些小技巧。warmup可以理解為預熱 熱身的意思，它的思想是一開始以較小的學習率去更新引數，然後逐步提高學習率。這樣的好處是 有助於減緩模型在初始階段對mini batch的提前過擬合現象，保持分布的平穩 有助於保持模型深層的穩定性。線性warmup nu...
模型訓練技巧（待續）
批訓練 batch trainning 一次訓練一批 比如50個 樣本，在nn或cnn中，對一批樣本在同相同引數的網路上進行前向過程和誤差傳導過程，然後把梯度求和加更新網路引數。優點 訓練速度可也更快，同批中的各樣本可並行訓練。dropout 模型訓練的時候隨機讓某些權重不更新。優點 為了防止過擬合...
網路模型訓練技巧
事先對影象資料進行處理。比如有10萬的資料，現在對這些資料都進行一次變換，那麼就有了20萬資料。最常見的操作就是對資料進行翻倍，翻10 20倍都是有可能的。水平翻轉，這種操作最常見也最實用，因為沒有任何瑕疵。當出現例如人臉被部分遮住的情況，為了讓計算機識別這種，我們可以人為的加上這種遮蔽現象。這種處...