前言
在深度學習優化演算法中，我們會涉及到指數加權平均這個概念，下面我將通過例子來一步一步引出這個概念。
平均數求法
比如我們現在有100天的溫度值，要求這100天的平均溫度值。
24，25，24，26，34，28，33，33，34，35…32。
通過上面的公式就可以直接求出10天的平均值。而我們要介紹的指數加權平均本質上就是一種近似求平均的方法。
指數加權平均
我們現在直接給出公式：
化簡開得到如下表示式：
通過上面表示式，我們可以看到，v100等於每乙個時刻天數的溫度值再乘以乙個權值。
本質就是以指數式遞減加權的移動平均。各數值的加權而隨時間而指數式遞減，越近期的資料加權越重，但較舊的資料也給予一定的加權。
而在我們上面提到的普通平均數求法，它的每一項的權值都是一樣的，如果有n項，權值都為1/n。
指數加權平均的本質還可以用下圖表示：
指數加權平均的結果是由當天溫度值乘以指數衰減函式值，然後類和求得！
指數加權平均的優勢
那麼指數加權平均法有什麼好處呢？首先我們來看它的實現：
我們可以看到指數加權平均的求解過程實際上是乙個遞推的過程，那麼這樣就會有乙個非常大的好處，每當我要求從0到某一時刻（n）的平均值的時候，我並不需要像普通求解平均值的作為，保留所有的時刻值，類和然後除以n。
而是只需要保留0-(n-1)時刻的平均值和n時刻的溫度值即可。也就是每次只需要保留常數值，然後進行運算即可，這對於深度學習中的海量資料來說，是乙個很好的減少記憶體和空間的做法。
指數加權移動平均
在學習吳恩達深度學習課程時，遇到 指數加權移動平均 這一概念，看似簡單，實則深奧。本文通過乙個excel示例，加深對其理解。以下為2021年2月份上海市日最高氣溫 表對應的折線圖。可以看出，折線圖中的溫度曲線起伏較大，十分 不平滑 那麼，有沒有辦法讓其更平滑呢？可以考慮使用指數加權移動平均法。注 e...
指數加權移動平均
加權移動平均法 是對觀察值分別給予不同的權數，按不同權數求得移動平均值，並以最後的移動平均值為基礎，確定 值的方法。採用加權移動平均法，是因為觀察期的近期觀察值對 值有較大影響，它更能反映近期變化的趨勢。指數移動加權平均法 是指各數值的加權係數隨時間呈指數式遞減，越靠近當前時刻的數值加權係數就越大。...
2 2 2 指數加權平均
下面介紹一下比梯度下降更快的演算法，不過在這之前，你要了解指數加全平均。如1和2所示，指數加權實際上就是設定乙個權值。就像下圖所示 來計算是平均的多少天。如下圖所示 我們要算第100天的平均溫度可以寫成圖中下面0.9的指數形式。由上圖是每天的實際溫度，下面是0.1通過指數衰減過後的函式值。對於v 1...