計算機視覺主要問題有影象分類、目標檢測和影象分割等。針對影象分類任務，提公升準確率的方法路線有兩條，乙個是模型的修改，另乙個是各種資料處理和訓練的技巧(tricks)。影象分類中的各種技巧對於目標檢測、影象分割等任務也有很好的作用，因此值得好好總結。
影象分類任務的各種tricks如下：
學習率是神經網路訓練中最重要的超引數之一，針對學習率的技巧有很多。warm up是在resnet**[1]中提到的一種學習率預熱的方法。由於剛開始訓練時模型的權重(weights)是隨機初始化的(全部置為0是乙個坑，原因見[2])，此時選擇乙個較大的學習率，可能會帶來模型的不穩定。學習率預熱就是在剛開始訓練的時候先使用乙個較小的學習率，訓練一些epoches或iterations，等模型穩定時再修改為預先設定的學習率進行訓練。**[1]中使用乙個110層的resnet在cifar10上訓練時，先用0.01的學習率訓練直到訓練誤差低於80%(大概訓練了400個iterations)，然後使用0.1的學習率進行訓練。
上述的方法是constant warmup，18年facebook又針對上面的warmup進行了改進[3]，因為從乙個很小的學習率一下變為比較大的學習率可能會導致訓練誤差突然增大。**[3]提出了gradual warmup來解決這個問題，即從最開始的小學習率開始，每個iteration增大一點，直到最初設定的比較大的學習率。
機器學習中分類問題
regression與線性回歸 linear regression 線性回歸 linear regression 損失函式 loss function 我們要找到最好的權重 引數 怎麼去衡量 最好 定義損失函式 最小化損失函式 梯度下降 gradient descend 逐步最小化損失函式的過程 如...
機器學習 多分類任務（7）
多分類問題還是以二分類為基礎，即將多分類任務拆解為多個二分類任務。具體來說就是先對問題進行拆分，然後對每個二分類任務訓練乙個分類學習器 測試時對這些分類器的 結果進行彙總，然後得出最終分類結果。流程 將n個類別進行兩兩配對，產生n n 1 2 個二分類任務，然後為每乙個二分類任務訓練乙個分類器。測試...
機器學習中分類和聚類的區別
在機器學習中有兩種常見的任務 分類 classification 和聚類 clustering 在初學機器學習時，對這兩個概念的理解容易混淆，隨著學習的深入，對這兩個概念有了基本的認識，現總結如下 1.分類 屬於監督學習的範疇，根據一些給定的已知類別的樣本，使它能夠對未知類別的樣本進行分類，要求必須...