在機器學習中，通常需要不斷的通過優化器，優化以減小損失。在優化過程中，最經常用到的就是學習速率，也就是在通過梯度決定模型訓練走向的時候所使用的乙個總要引數。
在經過多次優化之後，會出現疑惑度不會降低， 此時主要是因為，學習速率過大導致模型不能夠很好的進行收斂。這個時候需要做的就是，減小學習速率，促使模型收斂。也就是標題中提到的學習速率衰減。
常見的學習速率衰減的幾種模式：
這幾個模式主要是在開源模型中提到的，如果出現其他衰減模式，另做補充。
前三種衰減模式主要是：總步數，起始學習速率 有關
luong234 衰減方式，是通過在 總步數三分之二 之後開始衰減，接下來的平均衰減四次，每次衰減為上一次的二分之一
luong5 : 是指在總步數二分之一以後開始衰減，以後平均
衰減五次，每次二分之一。
luong10: 和上面同理
noam: 與上面不同，主要和四個引數相關，當前步數(s), 預熱步數(w_s)， 網路層大小(l_s)，原始學習速率(o_s)
每一步速率：
這樣在每次優化的時候都會重新設定 學習速率。
學習速率衰減模式需要根據具體的情況進行選擇。
《機器學習》總複習（上）
1.1從兩個問題談起 1.相關概念 1 機器學習 是人工智慧的另一部分，也是核心技術。其利用經驗 建立統計模型 概率模型，去解決問題。是對某個實際問題建立計算模型，並利用已知的經驗來提公升模型效果的一類方法。2 模式識別 用計算的方法根據樣本的特徵將樣本劃分到一定的類別中去。2.相關流程 1 乙個標...
機器學習的幾種劃分
詳細對比 其中 常見的判別式模型有 logistic regression logistical 回歸 linear discriminant analysis 線性判別分析 supportvector machines 支援向量機 boosting 整合學習 conditional random ...
Coursera華盛頓大學機器學習課程總結
一 基礎匯入課程 1 回歸 房價 2 分類 亞馬遜商品評價分類 二 回歸 模型 線性回歸 l1 l2正則化回歸 最近鄰回歸和核回歸 演算法 梯度下降 座標下降 概念 損失函式 偏差 方差折中 交叉驗證 稀疏性 過擬合 模型選擇 三 分類 模型 線性分類器 邏輯回歸分類器 svm 神經網路 核 決策樹...