本來想把自己報告的ppt寫成部落格，後來公式打起來太麻煩了，不想再敲第二遍了。寫一篇深入淺出，**並茂的部落格好難。
可以看斯坦福cs231n的課程，因為我發現很多人的部落格的圖和公式直接是截的那邊的圖。
bp反向傳播演算法明白了之後其實是比較簡單，現在想想一開始阻礙自己明白的就是向量化的那種表達形式。
組會要做報告，做了一天的ppt，敲了很多公式，想寫一篇日誌發現已經無力再把那麼多公式敲一遍了。簡要的記錄一發
首先是基本思想，求導的鏈式法則對於f(
t)=f
(u(t
),v(
t)) ，對
f 求偏導數∂f
∂t=∂
f∂u∂
u∂t+
∂f∂v
∂v∂t
，其次要記住的一點就是對誰求偏導數，那麼就把這個數當做變數，其他的都是常量。所以，對於f(
t)=f
(u(t
1),v
(t2)
) 來說，∂f
∂t1=
∂f∂u
∂u∂t
1 bp演算法就是基於上述的原理來進行求偏導的。看下面的簡單例子:
假如現在要求∂j
∂w(3
)21也就是圖中紅色線的部分，
j 是損失函式。那麼就要找到
j中所有和w(
3)21 有關係的量。我們把圖再拆解一下，如下圖：
進一步拆解如下圖：
紅色部分就是和w(
3)21
可以看到第乙個包含w(
3)21 的是z(
4)2 ，所以，∂f
∂w(3
)21=a
(3)1
∂j∂z
(4)2
接下來求後半部分∂j
∂z(4
)2，包含後半分的在圖中也標出來了。所以， ∂j
∂z(4
)2=∂
j∂a(
4)2∂
a(4)
2∂z(
4)2=
∂a(4
)2∂z
(4)2
∑i∂j
∂z(5
)iw(
4)i2
這個時候考慮到∂j
∂z(4
)2和\frac_2}的形式一樣，所以，可以確定，在得知前一層的∂j
∂z(l
) 後可以求得後一層的偏導數。
反向傳播演算法（BP演算法）
bp演算法 即反向傳播演算法 適合於多層神經元網路的一種學習演算法，它建立在梯度下降法的基礎上。bp網路的輸入輸出關係實質上是一種對映關係 乙個n輸入m輸出的bp神經網路所完成的功能是從n維歐氏空間向m維歐氏空間中一有限域的連續對映，這一對映具有高度非線性。它的資訊處理能力 於簡單非線性函式的多次復...
bp反向傳播
今天關於bp的探索思考告一段落了。計算智慧型導論。西瓜書。tom m.mitchell,機器學習。高數複習。高人點撥，卜老師的點播。高人指路，汪老師曾說，多看網上的部落格，可能說的不對，但可以幫你理解和開拓思路。網上的許多部落格。最終也是看完這篇部落格 最終解決了自己的的問題。首先計算智慧型導論的推...
BP誤差反向傳播演算法
bp演算法通過將輸出誤差反向傳播，將誤差分配到每個權值上，利用梯度更新對所有引數進行調整以達到輸出累計誤差最小 來自andrew ng的machine learning課程 為了簡化概念，先不加上偏置單元 符號介紹 zl i 第 l 層第 i節點的誤差zl i 第 l 層第i節點的輸入值al i 第...