深度學習 學習率 learning rate

學習率 (learning rate)，控制 模型的學習進度： 

lr即stride (步長)，即反向傳播演算法中的 ηη ：

ωn←ωn−η∂l∂ωnωn←ωn−η∂l∂ωn

學習率 大

學習率 小

學習速度快慢

使用時間點

剛開始訓練時

一定輪數過後

***1.易損失值**；2.易振盪。

1.易過擬合；2.收斂速度慢。

在訓練過程中，一般根據訓練輪數設定動態變化的學習率。

note：

如果是遷移學習，由於模型已在原始資料上收斂，此時應設定較小學習率 (≤10−4≤10−4) 在新資料上進行微調。

指數減緩

分數減緩

英文名step decay

exponential decay

1/t1/t decay

方法每n輪學習率減半

學習率按訓練輪數增長指數插值遞減

lrt=lr0/(1+kt)lrt=lr0/(1+kt) ，kk 控制減緩幅度，tt 為訓練輪數

理想情況下曲線應該是滑梯式下降[綠線]： 

曲線初始時 上揚[紅線]： 

solution：初始學習率過大 導致振盪，應減小學習率，並從頭 開始訓練。

曲線初始時 強勢下降 沒多久 歸於水平[紫線]： 

solution：後期學習率過大 導致無法擬合，應減小學習率，並重新訓練 後幾輪。

曲線全程緩慢[黃線]： 

solution：初始學習率過小 導致收斂慢，應增大學習率，並從頭 開始訓練。

深度學習 學習率

學習率 learning rate 控制模型的學習進度 學習率 大 學習率 小 學習速度快慢 使用時間點 剛開始訓練時 一定輪數過後 1.易損失值 2.易振盪。1.易過擬合 2.收斂速度慢。在訓練過程中，一般根據訓練輪數設定動態變化的學習率。note 如果是 遷移學習 由於模型已在原始資料上收斂，此...

深度學習 學習率 learning rate

學習率 learning rate 控制 模型的學習進度 lr即stride 步長 即反向傳播演算法中的 n n l n n n l n 學習率 大 學習率 小 學習速度快慢 使用時間點 剛開始訓練時 一定輪數過後 1.易損失值 2.易振盪。1.易過擬合 2.收斂速度慢。在訓練過程中，一般根據訓練輪...

深度信念網路 Learning

1.什麼是深度信念神經網路？答 深度信念神經網路，即 deep belief network，是近年比較火的一種網路結構，在遙感分類中應用較多。深度信念神經網路是在深度神經網路結構的基礎上的一種更新改進。這樣講應該是不準確的，但對於初學者來說比較容易理解 2.什麼是深度神經網路？答 首次接觸，可以聯...