全連線的結構不合適:對於乙個32 * 32 * 3大小的，單單乙個神經元就要有32 * 32 * 3個連線的權重，那麼對於更多的神經元，更多的層數，更大的，這個計算量的增加是無法接受的
全連線的神經網路沒有利用到的一些特點
在convoluntional layer當中，乙個神經元只連線乙個小區域內的畫素點，這個區域就叫做這個神經元的receptive field，這個區域的大小就叫做filter size。這個地方需要注意的一點是,receptive field在影象的前兩維裡面是只取乙個小區域，但是在第三個維度上，也就是深度上，是接收所有的資料的
輸出向量的深度也是我們關心的乙個量，這裡深度就代表著這個維度上有多少個神經元。每乙個深度上所有的神經元當然都是卷積同乙個receptive field的，但是它們連線的權重也都不一樣，它們提取的特徵也不一樣，有的是提取邊特徵，有的是提取顏色特徵，這些看著同乙個receptive field的神經元，我們叫作乙個depth column（或者乙個fibre）
我們還關心卷積的步長（step），也就是每當我做完一次卷積之後，我在每個維度上將我的視窗移動多大的距離。
如果我們輸入層的大小是w，視窗的大小是f，步長的大小是s，padding的大小是p，那麼我們得到的輸出層的大小是si
zeou
tput
=w−f
+2ps
+1這個式子也很好理解，輸入的大小減去視窗的大小，就是可以移動乙個步長，然後再加一。處理的時候還要考慮padding新增的大小
這裡值得注意的地方有兩點
1. 輸出層的乙個neuron，看的區域，是receptive的大小，乘以輸入層的所有深度，這麼大，比如說輸入的量是x,某乙個神經元的權重w看的區域就是x[:5,:5,:]，其中w[:,:,0]對應深度的第一層，w[:,:,1]對應深度的第二層
2. 輸出層有很多層，每一層的權重係數都是一樣的，比如說在depth_column[0]上，對於不同平面上的區域，權重都是一樣的
也就是說，每乙個神經元連線的輸入層的量x和連線的權重之間，都是elementwise的運算
現在我們舉個例子
如果我們有乙個輸入，大小是227 * 227 * 3，我們卷積的視窗大小是 11 * 11 * 3，步長是4，沒有padding，設定輸出層的層數是96，現在我們來簡單進行一下計算
每一組輸入的大小，是 11 * 11 * 3 = 363
在這個視窗的大小下，我們得到的資料的組數是
( 227 - 11 ) / 4 + 1 = 55，就是55 * 55 = 3025組
輸入的矩陣x是3025 * 363
對於每乙個receptive field當中的值，我們都需要給他乙個權重，這個權重是每層共享的，總共有96層，所以我們的權重矩陣w1的大小是 363 * 96的
outputlayer =np.matmul( x, w1 )然後我們對輸出應用relu非線性單元，其實relu的函式非常簡單，就是乙個max函式，但是非常有效（關於非線性單元的介紹請看這篇
接下來我們對它進行pooling，pooling最主要的目的就是減少神經元的個數，減少引數的個數，防止過擬合，還能提高效率
pooling一般的引數就是乙個2 * 2的視窗，步長設定為2,這樣pooling之後的結果就是原圖的長寬縮小成原來的一半。
然後我們需要把這個矩陣重新reshape成55 * 55 * 96的，然後輸入下乙個卷積層進行計算
在進行若干次卷積運算之後，我們就對資料進行全連線操作，全連線操作就和基本的神經網路是一樣的，將資料reshape成一維的向量，然後進行elementwise的乘法操作
然後我們就可以得到最後的向量，每乙個維度就代表著屬於向量屬於這個分類的評分，評分最大的就認為是**的那個分類
卷積神經網路簡介
卷積神經網路 convnets或cnn 是神經網路的一種，已被證明在影象識別和分類等領域非常有效。除機械人和自動駕駛汽車的視野增強外，convnets還在識別面部，物體和交通標誌上獲得成功。上圖為經典神經網路lenet的網路結構，其中包括了卷積神經網路的四個關鍵操作 持續更新，後續會詳細介紹每個操作...
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...