目錄
0、概覽
1、個人心得
2、總結
本文是對本人前面講的的一些經典框架的彙總。
（1）詳解深度學習之經典網路架構（一）：lenet
（2）詳解深度學習之經典網路架構（二）：alexnet
（3）詳解深度學習之經典網路架構（三）：zfnet
（4）詳解深度學習之經典網路架構（四）：vgg-net
（5）詳解深度學習之經典網路架構（五）：googlenet 四代(inception v1、v2、v3、v4)
（6）詳解深度學習之經典網路架構（六）：resnet 兩代（resnet v1和resnet v2）
（7）詳解深度學習之經典網路架構（七）：densenet
（8）詳解深度學習之經典網路架構（八）：resnext
（9）詳解深度學習之經典網路架構（九）：dpn（dual path network）
（1）lenet：元老級框架，結構簡單，卻開創了卷積神經網路的新紀元，具有重要的學習價值。
（2） alexnet：開啟了深度學習的大門，深度學習成為學術界的新寵。主要意義在於驗證了神經網路的有效性，為後續的發展提供了參考。
（3）zf-net：這個在alex上改進較少，主要貢獻是2點：
a）由alexnet的雙gpu改為單gpu上訓練;
b）對神經網路的每一層都進行了視覺化，這是最主要的貢獻。
（4）vgg-net：在alexnet的基礎上，提出了更深的網路，分別為vgg-16和vgg-19，引數是alexnet的三倍，為後面的框架提供了方向：加深網路的深度。
（5）googlenet：有四個版本，主要是在網路寬度上進行了改進，不像vgg-net只是單純增加深度，在同一層中使用了多個不同尺寸的卷積，以獲得不同的視野，最後級聯（直接疊加通道數量），這就是inception module從v2開始，進一步簡化把inception module中的n×n模組分解為1×n和n×1的組合，減少了引數數量，v3進一步把最開始的7×7卷積和其他非3×3進行分解，v4引入了resnet殘差的思想。
（6）resnet：首次提出了殘差的思想（跨層連線，即
a）此處的跨層連線的計算方式和googlenet中的級聯不同，這裡是每個通道進行相加操作，如果
b）有有兩個版本v1和v2，v2只是引入了bn（banch normalization），並討論的bn放置位置的問題，其他思想一樣。
（7）densenet：比resnet來的更加徹底，即當前的每一層都和前面的每一層連線。這裡有兩點值得注意：
a）為了解決每個輸入的尺寸不一樣的問題，因此提出了dense block，即在這個模組中才進行每一層的連線，這樣便於控制輸入尺寸的大小，dense block模組之間就可以放心的使用池化操作了;
b）此處的連線的計算方式為級聯（直接疊加通道數量），和googlenet一樣，和resnet不同。
（8）resnext：在resnet的基礎上，借鑑googlenet的思想，增加了網路的寬度，同時，為了簡化設計的複雜度，不像inception module裡面採用了不同尺寸的卷積，這裡使用相同的的卷積，並用了32個，最後每個通道相加，和inception module的級聯不同。
（9）dpn：一種雙通道網路，結合了resnet和densenet的優點，具有一定的參考價值。
深度學習還有很大的發展空間，這裡總結的是一些經典網路架構，還有很多有意思的網路架構，可以參考我以後的部落格，會不定時更新一些最新的技術。
詳解深度學習之經典網路架構（十） 九大框架彙總
目錄 0 概覽 1 個人心得 2 總結 深度學習經典框架的彙總。27種網路結構 包括玻爾茲曼機 自編碼 深度信念網路等 1 詳解深度學習之經典網路架構 一 lenet 2 詳解深度學習之經典網路架構 二 alexnet 3 詳解深度學習之經典網路架構 三 zfnet 4 詳解深度學習之經典網路架構 ...
深度學習 經典網路對比
1 alexnet 相比於傳統的cnn 的改動 1.資料增強 2 dropout 3 relu 啟用函式 4 local response normalization 區域性響應歸一化，利用臨近的資料做歸一化 6 多gpu 並行 2 vgg 很好的繼承了alexnet 更深 3 googlenet ...
深度學習筆記（27） 經典卷積網路
講了基本構建，比如卷積層 池化層以及全連線層這些元件 事實上，過去幾年計算機視覺研究中的大量研究都集中在如何把這些基本構件組合起來 形成有效的卷積神經網路 最直觀的方式之一就是去看一些案例 就像很多人通過看別人的 來學習程式設計一樣 通過研究別人構建有效元件的案例是個不錯的辦法 實際上在計算機視覺任...