學習率 (learning rate)，控制 模型的學習進度：
lr即stride (步長)，即反向傳播演算法中的 ηη
：ωn←
ωn−η
∂l∂ω
nωn←ωn−η∂l∂ωn
學習率 大
學習率 小
學習速度快慢
使用時間點
剛開始訓練時
一定輪數過後
***1.易損失值**；2.易振盪。
1.易過擬合；2.收斂速度慢。
在訓練過程中，一般根據訓練輪數設定動態變化的學習率。
note：
如果是遷移學習，由於模型已在原始資料上收斂，此時應設定較小學習率 (≤10
−4≤10−4
) 在新資料上進行微調。
輪數減緩
指數減緩
分數減緩
英文名step decay
exponential decay1/
t1/t
為訓練輪數
理想情況下曲線應該是滑梯式下降[綠線]：
曲線初始時 上揚[紅線]：
solution：初始學習率過大 導致振盪，應減小學習率，並從頭 開始訓練。
曲線初始時 強勢下降 沒多久 歸於水平[紫線]：
solution：後期學習率過大 導致無法擬合，應減小學習率，並重新訓練 後幾輪。
曲線全程緩慢[黃線]：
solution：初始學習率過小 導致收斂慢，應增大學習率，並從頭 開始訓練。
[1] 解析卷積神經網路—深度學習實踐手冊
[2] 調整學習速率以優化神經網路訓練
[3] 如何找到最優學習率
精確率與召回率
混淆矩陣 true positive 真正,tp 將正類 為正類數.true negative 真負 tn 將負類 為負類數.false positive 假正,fp 將負類 為正類數 誤報 type i error false negative 假負 fn 將正類 為負類數 漏報 type ii ...
精確率與召回率
1.1.1 混淆舉證 1 1.2 精確率 precision 與召回率 recall 召回率 真實為正例的樣本中 結果為正例的比例 r ec all tptp fnrecall frac recall tp fntp 能夠很好的評估模型，其主要用於二分類問題.f 1 2tp2 tp f n fp 2...
召回率與準確率
召回率和準確率是資料探勘中 網際網路中的搜尋引擎等經常涉及的兩個概念和指標。召回率 recall，又稱 查全率 還是查全率好記，也更能體現其實質意義。準確率 precision，又稱 精度 正確率 以檢索為例，可以把搜尋情況用下圖表示 相關 不相關 檢索到 a b 未檢索到 c d a 檢索到的，相...