卷積神經網路綜述
原理參考1
原理參考2
模型年代
特點結構
概念相關**
lenet-5
90年代
lenet-5 也能使用反響傳播演算法（backpropagation） ]訓練 ，三種型別的神經網路層
卷積層 ,池化層,池化層.1、卷積層、池化層和啟用函式層等操作是將原始資料對映到隱層特徵空間的話，2、全連線層則起到將學到的「分布式特徵表示」對映到樣本標記空間的作用
alexnet
2012
1、使用了非線性啟用函式relu與dropout方法2、由五層卷積和三層全連線組成，輸入影象為三通道224x224大小，網路規模遠大於lenet 3、使用了dropout，可以作為正則項防止過擬合，提公升模型魯棒性
zfnet
1、對alexnet的改進首先在第一層的卷積核尺寸從11x11降為7x7，2、將卷積時的步長從4降至2。 3、這樣使中間的卷積層擴張從而可以捕捉到更多的資訊。
vggnet
2014
網路的深度擴充套件到了19層，並且在每個卷積層使用了3x3這種小尺寸的卷積核。結果證明深度對網路效能有著重要影響
增加了網路的寬度與深度，並且相比於更窄更淺的網路，其在沒有明顯增多的計算量的情況下使網路效能明顯增強。
參考分析
resnet
ilsvrc 2015冠軍
層數變得更多， resnet是 alexnet的20多倍，是 vggnet的8倍多，增加深度，網路便能夠利用增加的非線性得出目標函式的近似結構 ， resnet通過引入shortcut直連來解決梯度消失
每一層輸出都直連到後面的所有層，可以更好地復用特徵，每一層都比較淺，融合了來自前面所有層的所有特徵，並且很容易訓練
左邊為普通的resnet結構，而右邊為resnext提出的結構，有點像inception+resnet。但是inception最後是拼接，而這裡是加，各個通道也是一模一樣的（很方便之後特徵圖相加）。 而resnext和resnet的主要區別就在於group操作
dpn融合了resnext和densenet的核心思想。分成左右兩個部分，第一部分類似densenet（因為加入了分組卷積，所以說是類似），第二部分是resnext，對與中間的shortcut部分，由左右兩部分的特徵圖經過1x1卷積相加，然後經過3x3卷積，和1x1的卷積（這就是resnet的shortcut部分），然後對獲取的特徵圖分成兩部分，一部分和左邊類densenet對應特徵圖拼接，另一部分與右邊resnext的特徵圖進行相加
目的特點
卷積層池化層是cnn的重要組成部分，通過減少卷積層之間的連線，降低運算複雜程度
池化層lp 池化：lp池化是建立在複雜細胞執行機制的基礎上，受生物啟發而來
混合池化：受隨機dropout [16] 和 dropconnect [28], yu et al.啟發而來
隨機池化：隨機迴圈 [30] 是受 dropout啟發而來的方法
spatial pyramid pooling：空間金字塔池化[26]可以把任何尺度的影象的卷積特徵轉化成相同維度，這不僅可以讓cnn處理任意尺度的影象，還能避免 cropping和warping操作，導致一些資訊的丟失，具有非常重要的意義
應用場景
應用模型
影象分類
物體檢測
物體追蹤
姿態估計
文字檢測
視覺顯著檢測
動作識別和場景標籤
方法概述
sgd演算法
##問題
如何選擇合適的超引數？比如學習率、卷積過濾的核大小、層數等等
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習，聯想起之前所學，感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律，e mc 描述了恆星發光的奧秘，v h d哈勃定律描述了宇宙膨脹的奧秘，自然界的大部分現象和規律都可以用數學函式來描述，也就是可以求得乙個函式。神經網路 簡單又...