bp演算法通過將輸出誤差反向傳播，將誤差分配到每個權值上，利用梯度更新對所有引數進行調整以達到輸出累計誤差最小
[來自andrew ng的machine learning課程]
為了簡化概念，先不加上偏置單元
符號介紹 zl
i :第
l 層第
i節點的誤差zl
i :第
l 層第i節點的輸入值al
i:第l 層第
i節點的輸出值wl
ji:第l−
1 層第i節點到第
l 層
j節點的權值
h():節點的啟用函式，如sigmod、tanh等ml
:第l 層的節點個數
根據網路圖，有以下關係: al
i=h(
zli)
zli=∑ml
j wl
jial
−1j
誤差反向傳播遞推公式以及對任一引數更新推導如下（打符號好慢，直接上手工）
BP反向傳播演算法
本來想把自己報告的ppt寫成部落格，後來公式打起來太麻煩了，不想再敲第二遍了。寫一篇深入淺出，並茂的部落格好難。可以看斯坦福cs231n的課程，因為我發現很多人的部落格的圖和公式直接是截的那邊的圖。bp反向傳播演算法明白了之後其實是比較簡單，現在想想一開始阻礙自己明白的就是向量化的那種表達形式。組會...
反向傳播演算法（BP演算法）
bp演算法 即反向傳播演算法 適合於多層神經元網路的一種學習演算法，它建立在梯度下降法的基礎上。bp網路的輸入輸出關係實質上是一種對映關係 乙個n輸入m輸出的bp神經網路所完成的功能是從n維歐氏空間向m維歐氏空間中一有限域的連續對映，這一對映具有高度非線性。它的資訊處理能力 於簡單非線性函式的多次復...
bp反向傳播
今天關於bp的探索思考告一段落了。計算智慧型導論。西瓜書。tom m.mitchell,機器學習。高數複習。高人點撥，卜老師的點播。高人指路，汪老師曾說，多看網上的部落格，可能說的不對，但可以幫你理解和開拓思路。網上的許多部落格。最終也是看完這篇部落格 最終解決了自己的的問題。首先計算智慧型導論的推...