反向傳播（英語：backpropagation，縮寫為bp）是「誤差反向傳播」的簡稱，是一種與最優化方法（如梯度下降法）結合使用的，用來訓練人工神經網路的常見方法。該方法對網路中所有權重計算損失函式的梯度。這個梯度會反饋給最優化方法，用來更新權值以最小化損失函式。
很多同學在學習深度神經網路的時候，對反向傳播的相關細節表示難以理解，國外有一篇技術部落格，用例子進行了非常清晰的推導。我們對此進行了漢化，並提供了相關的**。有興趣的同學快來看看吧。
假設，你有這樣乙個網路層。
現在對他們賦上初值，如下圖：
接下來,就可以進行反向傳播的計算了
下面的圖可以更直觀的看清楚誤差是怎樣反向傳播的
我們分別計算每個式子的值：
最後三者相乘
看看上面的公式,我們發現：
同理,計算出
兩者相加,得到總值
最後,三者相乘
這樣誤差反向傳播法就完成了，最後我們再把更新的權值重新計算，不停地迭代。
———————————————————————————————————————————mo （**：momodel.cn ）是乙個支援 python 的人工智慧建模平台，能幫助你快速開發訓練並部署 ai 應用。
機器學習 反向傳播神經網路推導
簡單的反向傳播神經網路可以說就是將基本單元如感知器，組成層級結構，劃分出輸入層 隱含層 輸出層 不同層之間通過連線來形成耦合，從而組成乙個有功用的網狀演算法結構。感知器可以通過迭代計算來逼近想獲取的結果，迭代過程中感知器不斷和計算結果反饋，較為常用的迭代計算方法有梯度下降法。當感知器組成網路之後，每...
機器學習 誤差逆傳播演算法 反向傳播演算法
誤差逆傳播演算法 error backpropagation，bp 是神經網路中常用的傳播演算法。bp演算法不僅可以應用於多層前饋神經網路，還可以應用於其他型別的神經網路，如訓練遞迴神經網路。通常所說的 bp網路 一般是指用bp演算法訓練的多層前饋神經網路。給定訓練集 d left y x y x ...
標準反向傳播推導手稿
神經網路反向傳播演算法的簡單推導手稿，以便日後查閱使用。這篇文章反向傳播演算法推導寫的非常好，一步一步推導計算反向傳播，非常值得閱讀。另外值得注意的幾點 bp演算法分類標準bp和累積bp，標準bp每次使用乙個樣本進行正向傳播計算誤差更新引數，而累積bp演算法每次使用整個資料集正向傳播，也就是進行m次...