下面介紹一下比梯度下降更快的演算法，不過在這之前，你要了解指數加全平均。
如1和2所示，指數加權實際上就是設定乙個權值。就像下圖所示
β來計算是平均的多少天。
如下圖所示
我們要算第100天的平均溫度可以寫成圖中下面0.9的指數形式。由上圖是每天的實際溫度，下面是0.1通過指數衰減過後的函式值。對於v_100而言，這些所有的係數相加和近似為1，我們稱這個為偏差修正。
那麼一般情況下我們到底平均多少天的氣溫就可以了呢？
可以看到0.9的10次方差不多等於1/e，此時權重差不多下降到整體權重的三分之一，我們有公式βn
=11−
β βn=
11−β
這個n值差不多就是我們想要的了。
最後我們來講一下實際如何執行。
演算法如上圖所示的右側。這實際上是乙個遞迴的過程。如右下圖所示，就是乙個不斷更新v=
βv+(
1−β)
θ v=β
v+(1
−β)θ
的過程。
偏差修正可以讓指數加權平均算的更為準確一些，下面介紹一下是如何做的。
如圖左側所示，按照我們指數加權平均公式，v0
v
0等於0，所以v1
v
1的**值會比v1
v
1的實際值要低上不少。因為θ2
θ
2所佔的比重也很低，計算出來的v2
v
2**值比實際值底。那麼有沒有什麼好的解決辦法呢？讓估值初期的值與實際值更接近一些。
方法就是如圖右側所示，我們更新公式，給分母加乙個權重vt
1−βt
v t1
−βt我們可以發現，隨著t的不斷增加，分母會越來越接近於1，這樣就保證了加權平均並且除去了偏差。當t不斷增加的時候，修正偏差幾乎沒有作用。
吳教主深度學習和神經網路課程總綱
指數加權移動平均
在學習吳恩達深度學習課程時，遇到 指數加權移動平均 這一概念，看似簡單，實則深奧。本文通過乙個excel示例，加深對其理解。以下為2021年2月份上海市日最高氣溫 表對應的折線圖。可以看出，折線圖中的溫度曲線起伏較大，十分 不平滑 那麼，有沒有辦法讓其更平滑呢？可以考慮使用指數加權移動平均法。注 e...
指數加權移動平均
加權移動平均法 是對觀察值分別給予不同的權數，按不同權數求得移動平均值，並以最後的移動平均值為基礎，確定 值的方法。採用加權移動平均法，是因為觀察期的近期觀察值對 值有較大影響，它更能反映近期變化的趨勢。指數移動加權平均法 是指各數值的加權係數隨時間呈指數式遞減，越靠近當前時刻的數值加權係數就越大。...
通俗解釋指數加權平均
前言 在深度學習優化演算法中，我們會涉及到指數加權平均這個概念，下面我將通過例子來一步一步引出這個概念。平均數求法 比如我們現在有100天的溫度值，要求這100天的平均溫度值。24，25，24，26，34，28，33，33，34，35 32。通過上面的公式就可以直接求出10天的平均值。而我們要介紹的...