動量梯度下降法是對梯度下降法的一種優化演算法，該方法學習率可以選擇更大的值，函式的收斂速度也更快。
梯度下降法就像下面這張圖，通過不斷的更新 w與b，從而讓函式移動到紅點，但是要到達最優解，需要我們不斷的迭代或者調整學習率來達到最後到達最優解的目的。
但是調大學習率會導致每一次迭代的步長過大，也就是擺動過大，誤差較大。調小學利率會讓迭代次數增加。而增加迭代次數則明顯的增加了訓練時間。
動量梯度下降法不但能使用較大的學習率，其迭代次數也較少
在理解動量梯度下降法之前，我們首先要了解指數加權平均數，這是動量梯度下降法的核心。
那麼，什麼是指數加權平均數呢，我們這裡舉例說明。
下面是乙個同學的某一科的考試成績： 平時測驗 80， 期中 90， 期末 95 學校規定的科目成績的計算方式是： 平時測驗佔
基於動量 momentum 的梯度下降法
批梯度下降 1 採用所有資料來梯度下降，在樣本量很大的時，學習速度較慢，因為處理完全部資料，我們僅執行了一次引數的更新。2 在學習過程中，我們會陷入損失函式的區域性最小值，而永遠無法達到神經網路獲得最佳結果的全域性最優值。這是因為我們計算的梯度大致相同。所以，我們實際上需要的是一些嘈雜的漸變。方向值...
動量梯度下降（momentum）
動量梯度下降法是對梯度下降法的改良版本，通常來說優化效果好於梯度下降法。對梯度下降法不熟悉的可以參考梯度下降法，理解梯度下降法是理解動量梯度下降法的前提，除此之外要搞懂動量梯度下降法需要知道原始方法在實際應用中的不足之處，動量梯度下降法怎樣改善了原來方法的不足以及其具體的實現演算法。依次從以下幾個方...
線性回歸之動量梯度下降（momentum）
如果嫌隨機梯度下降的方法還不夠快，沒事，總會有大神跳出來說還有動量梯度下降。隨機下降在這裡 普通梯度下降,每次調整權重的方法就是梯度乘以學習速率 g g 而動量梯度下降，不僅考慮了當前的梯度，還用到了之前的梯度 lg lg disc ount gl g lg d isco unt g l g l g...