DL CV 更高階的引數更新優化（二）

續【dl-cv】更高階的引數更新（一）

【dl-cv】正則化，dropout

《前篇---後篇》【dl-cv】**googlenet（咕咕net）

全名 adaptive gradient algorithm ，翻譯過來就是「適應梯度演算法」，該演算法能根據梯度中偏導數的大小給不同的偏導數以不同的學習率，偏導數大（小）的給個小（大）的學習率，以此來減少引數更新時的擺動。

其核心是引入乙個引數對歷次的梯度的平方進行累加，在更新階段，基礎學習率將除以這個引數的開方。這樣大梯度會因為積累大而分得小的學習率，小梯度因為積累小而分得較大的學習率

$$s_ = s_+\nabla_x l(x_t)^2$$

$$x_=x_t-}+\epsilon}\nabla_x l(x_t)$$

其中$\epsilon$是乙個很小的數，為了防止除法時分母出現零，一般設為1e-4到1e-8之間。下面是**實現

缺點：梯度平方的累計值在訓練過程中不斷增大，作為分母被除了以後學習率衰減過快，更新變慢

rmsprop 是 geoff hinton 提出的一種自適應學習率方法，目的是為了解決 adagrad 學習率急劇下降的問題。其在對梯度平方進行累加時會進行衰減處理（其實是指數加權平均），解決學習率急降的問題的同時又保留了 adagrad 調節學習率的優點

$$s_ = \beta s_t +(1-\beta)\nabla_x l(x_t)^2$$

$$x_= x_t-+}\epsilon}$$

$\gamma$ 通常為0.9/0.99

以上兩種方法解決了sgd的問題2️⃣

兩種動量方法通過引入「速度」解決了問題1️⃣；adagrad 和 rmsprop 通過引入「梯度平方」解決了問題2️⃣，各有千秋。為何不把兩者結合起來然後一次滿足兩個願望呢？這麼一想，adam就出來了。

adam 相當於 rmsprop + momentum，他除了像 rmsprop 一樣儲存了過去梯度平方的指數衰減平均值，也像 momentum 一樣保持了過去梯度的指數衰減平均值：

$$v_ = \beta_1v_t + (1-\beta_1)\nabla_x l(x_t)$$

$$s_ = \beta_2s_t + (1-\beta_2)\nabla_x l(x_t)^2$$

如果 v 和 s 被初始化為 0 向量，那它們就會向 0 偏置，所以還需要偏差校正來抵消這些偏差：

$$\hat v_ = \over 1-\beta_1^}$$

$$\hat s_ = \over 1-\beta_2^}$$

最後的更新就是：

$$x_=x_t-\over\sqrt}+\epsilon}$$

推薦值$\beta_1=0.9$，$\beta_2=0.99$，$\alpha=10^/5·10^$**實現：

adam真的是乙個非常棒的演算法，實踐表明，adam 比其他適應性學習方法效果要好，幾乎成為標配預設的演算法啦。所以長篇大論了這麼久之後的結論是——推薦首選adam

DL CV 更高階的引數更新 優化（二）