lenet
一共有五層，兩層卷積加三層全連線，架構如下：
卷積部分：（均無padding）
輸入kernel size
stride
kernel個數
輸出池化
第一層卷積
32*32*3
5*51
628*28*6
14*14*6
第二層卷積
14*14*6
5*51
1610*10*16
5*5*16
全連線部分：
進入第一層全連線之前先將第二層卷積的輸出reshape成400*1的列向量。
輸入kernel
輸出第一層全連線
400*1
120*400
120*1
第二層全連線
120*1
84*120
84*1
第三層全連線
84*1
10*84
10*1
alexnet
alexnet一共有8層，分別包含5層卷積和3層全連線。
卷積部分：
輸入kernel size
stride
kernel 個數
padding
輸出池化
第一層卷積
64*64*3
3*32641
16*16*64
8*8*64
第二層卷積
8*8*64
3*31
1921
8*8*192
4*4*192
第三層卷積
4*4*192
3*31
3841
4*4*384
無第四層卷積
4*4*384
3*31
2561
4*4*256
無第五層卷積
4*4*256
3*31
2561
4*4*256
2*2*256
全連線部分：
輸入kernel size
kernel個數
通道數輸出
第一層全連線
2*2*256
2*2256
4096
1*1*4096
第二層全連線
1*1*4096
1*14096
4096
1*1*4096
第三層全連線
1*1*4096
1*14096
1010*1
vgg16
見部落格此篇文章中詳細寫了引數個數的計算以及儲存引數所使用的記憶體情況。
深度學習 神經網路結構
線性可分 線性不可分 判斷一堆資料是否能夠線性可分的關鍵在於所在維度。從線性不可分 線性可分，可採用公升高維度的方式。線性可分和線性不可分的辯證統一思想 在低維空間中資料線性不可分，通過對映到高維空間是線性可分，回到低維空間又是線性不可分的，兩者統一而矛盾。線性不可分 線性可分 同時參考 深度學習領...
深度學習 網路正則化
in 1n i 1n yi f xi 2 r d min 1n i 1n yi f xi 2 r d 2 12 22l2 12 222 1 i i l2 1 i i 1 1 2 22 1 1 2 22 2 c 2 原理 對於某層神經元，在訓練階段均以概率p隨機將該神經元權重設定為0，在測試階段所有神...
深度學習 網路訓練技巧
1.1 學習率 learning rate 學習率 是控制模型學習效率 步長 的權重。學習率的大小區分區別 學習率大 學習率小 學習速度快慢 應用場合 訓練初期 數次epoch過後 缺點1.容易損失過大 2.容易發生振盪 1.容易過擬合 2.收斂速度慢 學習率的設定 在訓練過程中，一般根據訓練輪數設...