卷積的基本介紹
卷積操作後張量的大小計算
卷積參數量的計算
卷積flops的計算
感受野的計算
卷積神經網路中的卷積是指定義好卷積核(kernel),並對影象(或者特徵圖,feature map)進行滑動匹配,即對應位置相乘再相加。其特點就在於能夠捕捉區域性的空間特徵。具體過程如下圖所示:
圖1-二維卷積過程示例
每乙個卷積核對應於一種特徵提取的正規化,不同的卷積核對應於不同的特徵提取器,如下圖所示:
圖2-卷積特徵提取示例
卷積操作的引數包括卷積核大小(kernel size)、步長(stride)以及邊緣填充(padding)三個引數。此外對於同一步的卷積操作,可以使用多個卷積核,就能得到多張特徵圖。
卷積後的特徵圖大小可由下面公式進行計算,這裡卷積後尺寸大小為
為了方便理解,這裡舉個栗子。對於輸入維度為(255,255,3)的rgb影象,採用卷積核大小3 * 3 * 3進行卷積,步長為2,邊緣填充為1,卷積核的個數為16。那麼得到的相應的輸出特徵圖大小為(255-3+4)/2+1 = 129,即129 * 129大小,一共16個。所以最終輸出的張量大小為129*129*16。
圖4-不同步長核邊緣填充對應的卷積結果
卷積按照特徵圖的卷積維度不同可以分成一維卷積、二維卷積和三維卷積。
圖5-一維卷積示例圖,卷積核為[1,0,-1]
下面給出不同維度卷積所對應的輸入輸出以及卷積核大小的對應情況。out_channels也就對應於卷積核的個數。
圖6-卷積型別和輸入大小的對應關係
圖7-卷積型別和卷積核大小的對應關係
圖8-卷積型別和輸出大小的對應關係
對於一層卷積而言,其中的每個卷積核的參數量即為同卷積核的大小,那麼對於有
個卷積核的卷積層而言,並加上了偏置項。其參數量
為:衡量卷積計算量的指標是flops(floating point operations,浮點運算次數)。一次乘法和一次加法表示乙個浮點運算次數。那麼每乙個卷積每一次的滑動卷積的計算量就是
,那麼在
的圖上進行卷積就可以計算得到如下計算公式,也就是參數量乘以卷積圖的尺寸:
感受野(eceptive field)是指卷積的輸出結果對應於到輸入中的區域大小。是設計多層卷積神經網路的乙個重要依據。隨著卷積層數的增加,對應到原始輸入的感受野也會逐漸增大。層數
對應到輸入的感受野
的計算公式如下:
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入,它將深度學習的思想引入到了神經網路當中,通過卷積運算來由淺入深的提取影象的不同層次的特徵,而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數,從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象,我盡量在下面描述細緻一些,但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張,通過對應位置相乘求和,我們從左邊矩陣得到了右邊矩陣,邊緣是白色寬條,當畫素大一些時候,邊緣就會變細。觀察卷積核,左邊一列權重高,右邊一列權重低。輸入,左邊的部分明亮,右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡,下面這個圖左邊暗...
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習,聯想起之前所學,感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律,e mc 描述了恆星發光的奧秘,v h d哈勃定律描述了宇宙膨脹的奧秘,自然界的大部分現象和規律都可以用數學函式來描述,也就是可以求得乙個函式。神經網路 簡單又...