構建神經網路完成手寫數字識別，這個網路模型受經典網路模型lenet—5啟發，許多引數選擇和lenet—5相似。
卷積層輸入32*32*3矩陣，過濾器引數如圖，有6個過濾器，加上偏差，再應用非線性函式 ，輸出conv1 28*28*6；池化層採用maxpool ，f=2，s=2，相當於這層h、w維度減少一半 ，輸出pool1 14*14*6。conv1+pool1作為layer1.再構建卷積層引數：f=5，s=1，過濾器數量=10，輸出conv2=10*10*10，然後做maxpool，f=2、s=2，輸出pool2 h、w減半 5*5*10。conv1+pool1作為layer2。
卷積層有兩種分類，一是卷積層、池化層一起作為一層，二是卷積層單獨作為一層。一般在統計網路層數時，只計算有權重、有引數的層，pool沒有屬於自己的權重和引數，只有一些超引數（超引數是在開始學習過程之前設定值的引數，而不是通過訓練得到的引數資料），因此這裡把conv和pool看作是一層layer。
改變第二層過濾器引數：
5*5*10=400個元素，現在將pool2平整化為乙個400*1的向量，可以將平整化結果想象成乙個神經元的集合，然後利用這400個單元繼續構建下一層，下一層有120個單元，這是我們第乙個全連線層fc3,400個單元與120個單元緊密相連。這是個標準的神經網路，有維度為120*400的權重矩陣w[3]，在120單元後再新增乙個全連線層，這個更小，假設84個單元，標記為fc4，最後把fc4餵入softmax，假設本例識別0-9數字，則最後有10個輸出。
這是典型神經網路例子，看上去有很多超引數，盡量不用自己設定超引數，檢視別人文獻裡如何設定，選擇在別人任務中效果較好的架構，也可能會適用於自己的應用程式。具體方法後面講到。
神經網路中另一種常見模式：乙個或多個卷積層後跟隨乙個池化層，然後一或多個卷積層後再跟乙個池化層，然後是幾個全連線層，最後是softmax。
1.輸入層無引數，activation size=activation shape 32*32*2=3072
2.池化層無引數，卷積層引數較少，許多引數存在於全連線層。
3.隨著神經網路加深，啟用值逐漸變小，大多數卷積網路都存在這種屬性，如果啟用值下降太快，也會影響網路效能。
《1。卷積神經網路》
1.簡述卷積的基本操作，並分析其與全連線層的區別 答 具有區域性連線和權值共享的特點。卷積操作能夠在輸出資料中大致保持輸入資料的結構資訊 2.在卷積神經網路中，如何計算各層的感受野大小？答 3.卷積層的輸出尺寸 參數量和計算量 答 輸出尺寸 1.簡述分組卷積及其應用場景 答 分組卷積就是將輸入通道和...
卷積神經網路 1 1 卷積核
卷積神經網路中卷積核的作用是提取影象更高維的特徵，乙個卷積核代表一種特徵提取方式，對應產生乙個特徵圖，卷積核的尺寸對應感受野的大小。經典的卷積示意圖如下 5 5的影象使用3 3的卷積核進行卷積，結果產生3 3 5 3 1 的特徵影象。卷積核的大小一般是 2n 1 2n 1 的奇數乘奇數大小 n 1 ...
卷積神經網路 1 1 卷積核
卷積神經網路中卷積核的作用是提取影象更高維的特徵，乙個卷積核代表一種特徵提取方式，對應產生乙個特徵圖，卷積核的尺寸對應感受野的大小。經典的卷積示意圖如下 5 5的影象使用3 3的卷積核進行卷積，結果產生3 3 5 3 1 的特徵影象。卷積核的大小一般是 2n 1 2n 1 的奇數乘奇數大小 n 1 ...