主要記錄一下卷級操作的反向傳播,
這一篇比較簡潔,
這個是反向傳播的四個公式,推導過程也是作者的部落格,鏈結為
c為損失函式,c對z的損失需要經過啟用函式,根據鏈式法則,可以計算的得到。
bp1總結一下就是,對啟用函式求導乘以啟用函式的導。也就是對輸出層對每個單元的誤差。
bp2就是之前的層的損失,依賴於下一層的損失。當前節點和下一層的幾個節點相連,就需要求和幾次,具體可以參看原部落格。
bp3是對w和b的計算。
神經網路的認識(三)卷積神經網路
卷積神經網路主要由以下五種結構組成 輸入層。輸入層是整個神經網路的輸入 在處理影象 的卷積神經網路中,它一般代表了一張的畫素矩陣。從輸入層開始 卷積神經網路通過不同的神經網路結構將上一層的三維矩陣轉化為下一層的三維矩陣 直到最後的全連線層。卷積層。從名字就可以看出,卷積層是乙個卷積神經網路中最為重要...
神經網路總結()
最近幾天綜合的看了一下以前上課用的cmu的tom m.mitchell的機器學習,michael a.nielsen,neural networks and deep learning 還有趙永科著的深度學習,21天實戰caffe。一次性接受的有點多。但是,萬變不離其宗,總歸是用反向傳播演算法。細緻...
《1。卷積神經網路》
1.簡述卷積的基本操作,並分析其與全連線層的區別 答 具有區域性連線和權值共享的特點。卷積操作能夠在輸出資料中大致保持輸入資料的結構資訊 2.在卷積神經網路中,如何計算各層的感受野大小?答 3.卷積層的輸出尺寸 參數量和計算量 答 輸出尺寸 1.簡述分組卷積及其應用場景 答 分組卷積就是將輸入通道和...