反向傳播的計算過程:
幾點說明:
1.反向傳播,傳播的是誤差, 但是與總體誤差的概念不同,總體誤差可以使交叉熵損失,平方差損失等是個標量, 反向傳播中間層誤差是個向量
2.上面提到的4個bp公式,都是一般形式下的, 沒有指定損失函式
3.不管是最後一層誤差,還是隱藏層誤差,即bp1,bp2這兩個公式,都是常量
4.w更新過程中的al也是乙個常量, 因為梯度下降過程中, 是要將當前時間點的w引數帶入到導數中,求得在w點的梯度, 該式中認為w已經帶入計算, 所以是個常量??
5.對dnn的損失函式用梯度下降法進行迭代優化求極小值的過程即為我們的反向傳播演算法
6.輸出層, 隱藏層的權重更新都是根據最終的輸出層損失函式對權重w求偏導, 都是通過鏈式求導實現, 只是越靠前求導鏈越長, 把求導鏈總結一下, 就是誤差的反向傳播過程, 反向傳播是通過導數傳播誤差
7.delta定義為'誤差', 對這個'誤差'的理解:表示第l層的神經元對最終誤差的影響。 δ(l) 也反映了最終的輸出
對第l 層的神經元對最終誤差的敏感程度
8.輸出層的誤差, 也是受到隱藏層權重影響的, 但是在更新輸出層w時沒有考慮這些, 是否可以理解為修正w是層疊多次的, 所以不會受到太大影響???
參考:
BP神經網路
基本bp神經網路演算法包括 訊號的前向傳播 誤差的反向傳播 也即計算實際輸出時按照輸入到輸出的方向進行，權值閾值調整則相反。bp是一種多層前饋神經網路，由輸入層 隱含層和輸出層組成。層與層之間有兩種訊號在流動 一種是從輸入流向輸出的工作訊號，是輸入和權值的函式 另一種是輸入流向輸出的訊號，即誤差。隱...
BP神經網路
x 為輸入向量，y為隱藏層的神經元，z 為輸出層,d為目標真實值,本文預設 z 不經過sigmod處理。x y的權重為 w,y z的權重為 v yj ix iwij 1 oyi f y j 2 其中激勵函式f x 1 1 e x f x f x 1 f x 3 z k j f yj vjk 此時系統...
BP神經網路
bp是back propagation bp神經網路主要的演算法在於誤差反向傳播error backpropagation 有三層 輸入層 input 隱含層 hidden 輸出層 output 輸入層 n個神經元 隱含層 p個神經元 輸出層 q個神經元 輸入向量 x x1,x2,x n 隱含層輸入...