詳解深度學習之經典網路架構（十）九大框架彙總

0、概覽

1、個人心得

2、總結

深度學習經典框架的彙總。

**：27種網路結構（包括玻爾茲曼機、自編碼、深度信念網路等）：

（1）詳解深度學習之經典網路架構（一）：lenet

（2）詳解深度學習之經典網路架構（二）：alexnet

（3）詳解深度學習之經典網路架構（三）：zfnet

（4）詳解深度學習之經典網路架構（四）：vgg-net

（5）詳解深度學習之經典網路架構（五）：googlenet 四代(inception v1、v2、v3、v4)

（6）詳解深度學習之經典網路架構（六）：resnet 兩代（resnet v1和resnet v2）

（7）詳解深度學習之經典網路架構（七）：densenet

（8）詳解深度學習之經典網路架構（八）：resnext

（9）詳解深度學習之經典網路架構（九）：dpn（dual path network）

（1）lenet：元老級框架，結構簡單，卻開創了卷積神經網路的新紀元，具有重要的學習價值。

（3）zf-net：這個在alex上改進較少，主要貢獻是2點：

a）由alexnet的雙gpu改為單gpu上訓練;

b）對神經網路的每一層都進行了視覺化，這是最主要的貢獻。

（4）vgg-net：在alexnet的基礎上，提出了更深的網路，分別為vgg-16和vgg-19，引數是alexnet的三倍，為後面的框架提供了方向：加深網路的深度。

（5）googlenet：有四個版本，主要是在網路寬度上進行了改進，不像vgg-net只是單純增加深度，在同一層中使用了多個不同尺寸的卷積，以獲得不同的視野，最後級聯（直接疊加通道數量），這就是inception module從v2開始，進一步簡化把inception module中的n×n模組分解為1×n和n×1的組合，減少了引數數量，v3進一步把最開始的7×7卷積和其他非3×3進行分解，v4引入了resnet殘差的思想。

（6）resnet：首次提出了殘差的思想（跨層連線，即

a）此處的跨層連線的計算方式和googlenet中的級聯不同，這裡是每個通道進行相加操作，如果

b）有有兩個版本v1和v2，v2只是引入了bn（banch normalization），並討論的bn放置位置的問題，其他思想一樣。

（7）densenet：比resnet來的更加徹底，即當前的每一層都和前面的每一層連線。這裡有兩點值得注意：

a）為了解決每個輸入的尺寸不一樣的問題，因此提出了dense block，即在這個模組中才進行每一層的連線，這樣便於控制輸入尺寸的大小，dense block模組之間就可以放心的使用池化操作了;

b）此處的連線的計算方式為級聯（直接疊加通道數量），和googlenet一樣，和resnet不同。

（8）resnext：在resnet的基礎上，借鑑googlenet的思想，增加了網路的寬度，同時，為了簡化設計的複雜度，不像inception module裡面採用了不同尺寸的卷積，這裡使用相同的的卷積，並用了32個，最後每個通道相加，和inception module的級聯不同。

深度學習還有很大的發展空間，這裡總結的是一些經典網路架構，還有很多有意思的網路架構，可以參考我以後的部落格，會不定時更新一些最新的技術。

詳解深度學習之經典網路架構（十）九大框架彙總

詳解深度學習之經典網路架構（十）九大框架彙總

深度學習經典網路對比

深度學習筆記（27）經典卷積網路

詳解深度學習之經典網路架構（十） 九大框架彙總

詳解深度學習之經典網路架構（十） 九大框架彙總

深度學習 經典網路對比

深度學習筆記（27） 經典卷積網路

相關推薦

詳解深度學習之經典網路架構（十）九大框架彙總

詳解深度學習之經典網路架構（十）九大框架彙總

深度學習經典網路對比

深度學習筆記（27）經典卷積網路