一、卷積神經網路基礎
二、lenet
三、常見的一些卷積神經網路
卷積層的超引數:填充和步幅。
步幅(stride):每次卷積核在輸入陣列上滑動的行數與列數。
多輸入與輸出通道:將3維陣列除寬高外的一維稱為通道維。
1×1卷積層:包含1×1的卷積核的卷積層。1×1卷積核在不改變輸入高寬的情況下調整通道數。如果將通道維當作特徵為維,將高寬維度上的元素作為資料樣本,那麼1×1卷積層的作用等價於全連線層。
forward
函式引數shape為(n,
cin,
hin,
win)
(n,c_,h_,w_)
(n,cin
,hi
n,w
in)
,輸出shape(n,
cout
,hou
t,wo
ut)(n,c_,h_,w_)
(n,cou
t,h
out
,wou
t),n
nn是批量大小,c
cc是通道數,h,m
h,mh,
m是高寬。
conv2d = nn.conv2d(in_channels=
2, out_channels=
3, kernel_size=(3
,5), stride=
1, padding=(1
,2))
y = conv2d(x)
forward
函式引數shape為(n,
c,hi
n,wi
n)(n,c,h_,w_)
(n,c,h
in,
win
),輸出shape(n,
c,ho
ut,w
out)
(n,c,h_,w_)
(n,c,h
out
,wout)
pool2d = nn.maxpool2d(kernel_size=
3, padding=
1, stride=(2
,1))
y = pool2d(x)
下圖是具體結構:卷積層由於使用高和寬均為5的卷積核,從而將高和寬分別減小4,而池化層則將高和寬減半,再一次經過卷積層通道數則從1增加到16。全連線層則逐層減少輸出個數,直到變成影象的類別數10。
全連線層與卷積層的比較
lenet缺陷:在大的真實資料集上表現不佳
nin去除了容易過擬合的全連線輸出層,替換為上面的nin塊和全域性平均池化層,其輸出通道等於標籤類別數。
深度學習 卷積神經網路
卷積神經網路 convolutional neural networks,cnn 是一類包含卷積計算且具有深度結構的前饋神經網路 feedforward neural networks 是深度學習 deep learning 的代表演算法之一。卷積神經網路具有表徵學習 representation ...
深度學習之卷積神經網路
卷積神經網路是一種多層神經網路,擅長處理影象特別是大影象的相關機器學習問題。卷積網路通過一系列方法,成功將資料量龐大的影象識別問題不斷降維,最終使其能夠被訓練。cnn最早由yann lecun提出並應用在手寫字型識別上 minst lecun提出的網路稱為lenet,其網路結構如下 這是乙個最典型的...
深度學習演算法 卷積神經網路
卷積神經網路 cnn 是深度學習在影象處理領域的乙個應用。在學習卷積神經網路之前,先了解下它的兩個基本思想 1 區域性感受 一般認為人對外界的認知是從區域性到全域性的,而影象的空間聯絡也是區域性的畫素聯絡較為緊密,而距離較遠的畫素相關性則較弱。因而,每個神經元其實沒有必要對全域性影象進行感知,只需要...