老規矩–妹妹鎮樓：
前向傳播公式：
wx + b = out
w是濾波器的引數，x是前一層的輸入，b是偏置項，out是每一層的輸出
濾波器：
w[濾波器的編號，濾波器的深度（與x的深度相同），濾波器的高，濾波器的寬]
每乙個濾波器產生乙個特徵圖，這個特徵圖是由該濾波器的每一層和每一層輸入計算內積的和而產生的。
wx + b = out
反向傳播就是為了更新w的值，那麼要更新w的值，就要知道w更新的方向梯度，即dw。
dout是上一層傳下來的梯度，要從上一層傳下來的梯度dout這樣，得到dw，那麼就要乘以out對w自身的梯度，這樣才能將dout轉變為dw。
從公式wx + b = out
中可以看出，out對w求偏導，則dout/dw = x
則dw = dout * x
前向傳播：求所有值的最大值
反向傳播：最大值不變，其他值為0 如：
前向：[1, 3; 2, 2] -> [3]
反向：[3] -> [0, 3; 0 0]
前向傳播：求所有值的平均值
反向傳播：每乙個值為0.5 如：
前向： [1,3;2,2] -> [2]
反向： [2] -> [0.5,0.5,0.5,0.5]
深度學習之卷積神經網路
卷積神經網路是一種多層神經網路，擅長處理影象特別是大影象的相關機器學習問題。卷積網路通過一系列方法，成功將資料量龐大的影象識別問題不斷降維，最終使其能夠被訓練。cnn最早由yann lecun提出並應用在手寫字型識別上 minst lecun提出的網路稱為lenet，其網路結構如下 這是乙個最典型的...
深度學習之卷積神經網路
目錄 持續更新 概述 卷積神經網路中啟用函式relu 卷積網路 卷積網路架構 卷積層輸出計算 池化層的輸出計算 卷積神經網路的訓練 卷積層的訓練 pooling層的訓練 卷積神經網路 cnn 一種更適合影象 語音識別任務的神經網路結構 用cnn解決的問題都存在區域性與整體的關係。由低層次的特徵經過組...
深度學習 卷積神經網路
一 卷積神經網路基礎 二 lenet 三 常見的一些卷積神經網路 卷積層的超引數 填充和步幅。步幅 stride 每次卷積核在輸入陣列上滑動的行數與列數。多輸入與輸出通道 將3維陣列除寬高外的一維稱為通道維。1 1卷積層 包含1 1的卷積核的卷積層。1 1卷積核在不改變輸入高寬的情況下調整通道數。如...