[1]
[2]
該部落格主要是對網上知識點的學習和整理，方便日後複習。侵刪。
卷積神經網路（cnn）一般由輸入層、卷積層、啟用函式、池化層、全連線層組成，即input（輸入層）-conv（卷積層）-relu（啟用函式）-pool（池化層）-fc（全連線層）
當我們給定乙個「x」的圖案，計算機怎麼識別這個圖案就是「x」呢？乙個可能的辦法就是計算機儲存一張標準的「x」圖案，然後把需要識別的未知圖案跟標準的「x」圖案進行對比，如果二者一致，則判斷未知圖案是乙個「x」圖案。
未知圖案的區域性和標準x圖案的區域性乙個乙個比對時的計算過程，便是卷積。卷積計算結果為1表示匹配，否則不匹配。
對影象（不同的資料視窗資料）和濾波矩陣（一組固定的權重：因為每個神經元的多個權重固定，所以又可以看做乙個恆定的濾波器filter）做內積（逐個元素相乘再求和）的操作就是所謂的卷積操作，也就是卷積神經網路的名字**。
非嚴格意義來講，下圖中的紅框框起來的部分便可以理解為乙個濾波器，即帶著一組固定權重的神經元。多個濾波器迭加變成了卷積層。
舉個例子，下圖中左邊部分是原始輸入資料，中間部分是濾波器filter，右邊是輸出的新的二維資料。
中間濾波器filter與資料視窗做內積，計算過程為：
4x0 + 0x0 + 0x0 + 0x0 + 0x1 + 0x1 + 0x0 + 0x1 + (-4)x2 = -8
也就是說：卷積層的功能就是用來進行特徵提取
在下圖對應的計算過程中，輸入是一定區域大小(width*height)的資料，和濾波器filter（帶著一組固定權重的神經元）做內積後等到新的二維資料。
具體來說，左邊是影象輸入，中間部分就是濾波器filter（帶著一組固定權重的神經元），不同的濾波器filter會得到不同的輸出資料，比如顏色深淺、輪廓。相當於如果想提取影象的不同特徵，則用不同的濾波器filter，提取想要的關於影象的特定資訊：顏色深淺或輪廓。
在cnn中，濾波器filter（帶著一組固定權重的神經元）對區域性輸入資料進行卷積計算。每計算完乙個資料視窗內的區域性資料後，資料視窗不斷平移滑動，直到計算完所有資料。這個過程中，有這麼幾個引數：
a. 深度depth：神經元個數，決定輸出的depth厚度。同時代表濾波器個數。
b. 步長stride：決定滑動多少步可以到邊緣。
c. 填充值zero-padding：在外圍邊緣補充若干圈0，方便從初始位置以步長為單位可以剛好滑倒末尾位置，通俗地講就是為了總長能被步長整除。
下面是一張卷積**，更清晰地展示卷積地過程。
可以看到：
然後分別以兩個濾波器filter為軸滑動陣列進行卷積計算，得到兩組不同的結果。
結合上文的內容，就可以理解這個**了：
隨著左邊資料視窗的平移滑動，濾波器filter w0 / filter w1對不同的區域性資料進行卷積計算。
值得一提的是：
舉乙個例子講解上面的**：
上圖中的輸出結果1具體是怎麼計算得到的呢？其實，類似wx + b，w對應濾波器filter w0，x對應不同的資料視窗，b對應bias b0，相當於濾波器filter w0與乙個個資料視窗相乘再求和後，最後加上bias b0得到輸出結果1：
r通道（卷積）+g通道（卷積）+b通道（卷積）+bias
如沒有這個原則，則特徵圖由10個32x32x1的特徵圖組成，即每個特徵圖上有1024個神經元，每個神經元對應輸入影象上一塊5x5x3的區域，即乙個神經元和輸入影象的這塊區域有75個連線，即75個權值引數，則共有75x1024x10=768000個權值引數，這是非常複雜的，因此卷積神經網路引入「權值」共享原則，即乙個特徵圖上每個神經元對應的75個權值引數被每個神經元共享，這樣則只需75*10=750個權值引數，而每個特徵圖的閾值也共享，即需要10個閾值，則總共需要750+10=760個引數。
所謂的權值共享就是說，給一張輸入，用乙個filter去掃這張圖，filter裡面的數就叫權重，這張圖每個位置就是被同樣的filter掃的，所以權重是一樣的，也就是共享。
卷積神經網路 卷積神經網路啟用層
在生物意義上的神經元中，只有前面的樹突傳遞的訊號的加權和值大於某乙個特定的閾值的時候，後面的神經元才會被啟用。簡單的說啟用函式的意義在於判定每個神經元的輸出 放在人臉識別卷積神經網路中來思考，卷積層的啟用函式的意義在於這一塊區域的特徵強度如果沒有達到一定的標準，就輸出0，表明這種特徵提取方式 卷積核...
卷積神經網路 定義卷積層
import torch in channels,out channels 5,10 in 決定卷積核的channel out 決定卷積核的個數 width,hight 100,100kernel size 3 卷積核的邊長 卷積核一般為奇數邊長正方形 batch size 1input torch...
卷積神經網路詳解 卷積層邏輯篇
本系列文章為深度學習筆記，方便自己回看。對於影象識別來說，卷積神經網路的效果要好於全連線神經網路。我在首次接觸卷積時，隱約記得在大一高數課程中曾經提及，但具體已經無法名狀。何謂卷積，知乎的這個回答，如何通俗易懂地解釋卷積 解釋得很詳細，摘出部分如下，以方便閱讀。從數學上看，卷積是一種運算。我們稱 f...