1）alexnet 相比於傳統的cnn 的改動
1.資料增強
2 dropout
3 relu 啟用函式
4 local response normalization 區域性響應歸一化，利用臨近的資料做歸一化
6 多gpu 並行
2） vgg 很好的繼承了alexnet ，更深
3）googlenet
更深。主要創新是inception，是一種網中網的結果，即原來的結點也是乙個網路，inception 一直在不斷發展，其中的1*1 卷積主要是用來降維的，
4） resnet
更深 主要的創新是殘差網路，這個網路的提出本質還是要解決層次比較深的時候無法訓練的問題，優化目標從擬合輸出h(x) 變成輸出和輸入的差h(x)-x。
深度學習筆記（27） 經典卷積網路
講了基本構建，比如卷積層 池化層以及全連線層這些元件 事實上，過去幾年計算機視覺研究中的大量研究都集中在如何把這些基本構件組合起來 形成有效的卷積神經網路 最直觀的方式之一就是去看一些案例 就像很多人通過看別人的 來學習程式設計一樣 通過研究別人構建有效元件的案例是個不錯的辦法 實際上在計算機視覺任...
深度學習框架對比
第乙個主流產品級深度學習庫，於 2014 年由 uc berkeley 啟動 優點 快速 支援 gpu 漂亮的 matlab 和 python 介面 缺點 不靈活。在 caffe 中，每個節點被當做乙個層，因此如果你想要一種新的層型別，你需要定義完整的前向 後向和梯度更新過程。這些層是網路的構建模組...
對比主流深度學習框架
現在的主要的框架主要是呈以上的排名分部 tensorflow theano keras lasagne caffe dsstne torch mxnet dl4j cognitive toolkit主要是有以上這十種框架。是乙個基於資料流程式設計 dataflow programming 的符號數學...