深度學習筆記 四 神經網路之鏈式法則詳解

2021-10-18 04:16:04 字數 567 閱讀 5557

簡單的說鏈式法則就是原本y對x求偏導,但是由於過程較為複雜,我們引入了乙個中間層z,先利用y對z求偏導,在乘上z對x求偏導,這樣會使整個計算更為簡單。

作用:通過鏈式法則我們就可以把最後一層的誤差,一層一層的輸出到中間層上面去,從而得到中間層的梯度資訊,通過梯度資訊我們就能很好的更新權值,從而達到更好的優化效果。

從上面可以知道e為最右邊,當e對w1做偏微分,可以更新w1;同理e對w2做偏微分,就更新w2.

從x到e之間我們經歷了o1和o2,通過鏈式法則,從乙個複雜的偏微分,就變成了三個簡單的偏微分求解,使操作更為簡單。

實際**:

72行意思就是y2對y1求偏導,73行意思就是y1對w1求偏導,74行意思就是d2對w1求偏導,75行(通過鏈式法則)和76行表示所得結果都是一樣的,這就表明鏈式法則是完全符合神經網路的。

深度學習 神經網路筆記

rnn 遞迴神經網路 一 神經網路的種類 基礎神經網路 單層感知機,執行緒神經網路,bp神經網路,hopfield神經網路等 高階神經網路 玻爾茲曼機,受限玻爾茲曼機,遞迴神經網路等 深度神經網路 深度置信網路,卷積神經網路,迴圈神經網路,lstm聖經網路等 一 感知機 svm 有n個輸入資料,通過...

機器學習,深度學習,神經網路,深度神經網路

先來說一下這幾者之間的關係 人工智慧包含機器學習,機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究,但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層,一般來說隱藏層大於2的神經網路就叫做深度神經網路,深度...

深度學習 深度神經網路

神經網路是由乙個個神經元相互連線並按層次排列構成的,深度神經網路是有任意層的神經網路,這裡的深度是指層次的多,而不是神經元數量的多。有任意層,那麼就要有乙個迴圈來負責遍歷每一層進行計算。所以深度神經網路的計算形式,就必須要適應這個迴圈結構。我們先來說說神經元吧 對於多神經元神經網路,其實也是一樣的。...