1.lenet-5模型
第一層：卷積層
輸入原始影象畫素，32*32*1
過濾器5*5，深度6，不用全0填充，步長為1
輸出長寬尺寸：32-5+1=28，即28*28，深度為6，節點矩陣：28*28*6=4704
卷積層引數：5*5*1*6+6=156
連線數：4704*（25+1）=122304 其中1是bias引數，每個卷積過濾器是5*5矩陣和1個bias
第二層：池化層
輸入是上一層的輸出，也就是28*28*6
過濾器2*2，長寬步長都為2
輸出矩陣：14*14*6
第三層：卷積層
輸入：14*14*6
過濾器5*5，深度16，不用全0填充，步長為1
輸出：[（14-5+1）^2] *16
引數：這裡寫按照標準的卷積層，也就是s2裡面6個feature map全部作為輸入，共享乙個bias：16*（5*5*6）+16個引數
連線：10*10*16*（25+1）=41600
第四層：池化層
輸入：10*10*16
過濾器：2*2，步長2
輸出：5*5*16
第五層：全連線層（卷積層）
輸入：5*5*16
過濾器：5*5，深度120
輸出：120個節點，也就是1*1*120（卷積器矩陣跟輸入矩陣相同，輸出1*1的節點）
引數：5*5*16*120+120=48120
第六層：全連線層
輸入：120個節點
輸出：84個節點
引數：120*84+84=10164
然後將其傳遞給sigmoid函式產生單元的乙個狀態
第七層：全連線層
這個筆記寫的是mnist，所以最後將84個節點又輸入，輸出10個節點
原文沒有提到sigmoid
2.inception-v3模型
使用所有尺寸的過濾器，然後將得到的矩陣拼接起來。全0填充且步長為1，所以得到的長寬一致
用tensorflow-slim實現卷積層能減少**量：
-用tensorflow原始api：
with tf.variable_scope(scope_name):
weights=tf.get_variable("weight",...)
biases=tf.get_variable("bias",...)
conv=tf.nn.conv2d(...)
relu=tf.nn.relu(tf.nn.bias_add(conv,biases))
slim.conv2d有三個必選引數：input節點矩陣，卷積層過濾器深度，過濾器尺寸
可選引數：過濾器移動步長，是否全0填充，啟用函式選擇，變數命名空間等。
3.遷移學習
將乙個資料集上訓練好的卷積神經網路模型快速轉移到另外乙個資料集上
保留卷積層的引數，替換最後一層全連線層，全連線層之前的稱為瓶頸層。
在新資料集上，利用這個訓練好的神經網路提取強特徵，輸入新的全連線層訓練新分類問題。
卷積神經網路結構
卷積神將網路的計算公式為 n w f 2p s 1 其中n 輸出大小 w 輸入大小 f 卷積核大小 p 填充值的大小 s 步長大小 即與用和原輸入層大小 深度完全一致的卷積核進行卷積，形成11x的全連線層 即展開 其中x由卷積核的層數決定。寫 時也可以直接展開為一維 不改變輸入層的大小，但改變輸入和...
網路結構模型
怎麼去理解乙個請求？首先，先看模型圖 個人觀點 請求從應用層發出，經過表示層加密，會話層建立會話並快取相關dns之類的資訊 傳輸層運輸請求時，經過路由和閘道器 到相應的ip網路 資料鏈路層處理區域網中的資料 物理層是實際的物理機的位址，以及實際應用的業務處理位址。摘錄 為了實現跨越網際網路的，主機 ...
卷積神經網路經典模型要點
六 resnet 2012年imagenet比賽分類任務的冠軍，top 5錯誤率為16.4 讓深度學習受到矚目。該網路輸入為2272273 原始資料為2242243,經過預處理變為227 由5個 卷積 relu pooling 和3個全連線層構成。為什麼將224預處理為227大小的影象 如果為 22...