學習率 (learning rate),控制 模型的學習進度:
lr即stride (步長),即反向傳播演算法中的 ηη :
ωn←ωn−η∂l∂ωnωn←ωn−η∂l∂ωn
學習率 大
學習率 小
學習速度快慢
使用時間點
剛開始訓練時
一定輪數過後
***1.易損失值**;2.易振盪。
1.易過擬合;2.收斂速度慢。
在訓練過程中,一般根據訓練輪數設定動態變化的學習率。
note:
如果是遷移學習,由於模型已在原始資料上收斂,此時應設定較小學習率 (≤10−4≤10−4) 在新資料上進行微調。
輪數減緩指數減緩
分數減緩
英文名step decay
exponential decay
1/t1/t decay
方法每n輪學習率減半
學習率按訓練輪數增長指數插值遞減
lrt=lr0/(1+kt)lrt=lr0/(1+kt) ,kk 控制減緩幅度,tt 為訓練輪數
理想情況下曲線應該是滑梯式下降[綠線]
:
曲線初始時 上揚[紅線]
:
solution:初始學習率過大 導致振盪,應減小學習率,並從頭 開始訓練。
曲線初始時 強勢下降 沒多久 歸於水平[紫線]
:
solution:後期學習率過大 導致無法擬合,應減小學習率,並重新訓練 後幾輪。
曲線全程緩慢[黃線]
:
solution:初始學習率過小 導致收斂慢,應增大學習率,並從頭 開始訓練。
深度學習 學習率
學習率 learning rate 控制模型的學習進度 學習率 大 學習率 小 學習速度快慢 使用時間點 剛開始訓練時 一定輪數過後 1.易損失值 2.易振盪。1.易過擬合 2.收斂速度慢。在訓練過程中,一般根據訓練輪數設定動態變化的學習率。note 如果是 遷移學習 由於模型已在原始資料上收斂,此...
深度學習 學習率 learning rate
學習率 learning rate 控制 模型的學習進度 lr即stride 步長 即反向傳播演算法中的 n n l n n n l n 學習率 大 學習率 小 學習速度快慢 使用時間點 剛開始訓練時 一定輪數過後 1.易損失值 2.易振盪。1.易過擬合 2.收斂速度慢。在訓練過程中,一般根據訓練輪...
深度信念網路 Learning
1.什麼是深度信念神經網路?答 深度信念神經網路,即 deep belief network,是近年比較火的一種網路結構,在遙感分類中應用較多。深度信念神經網路是在深度神經網路結構的基礎上的一種更新改進。這樣講應該是不準確的,但對於初學者來說比較容易理解 2.什麼是深度神經網路?答 首次接觸,可以聯...