經典結構：
感受野：類似神經元只接受其所支配的刺激區域內的訊號。
分布式表示：每個語義概念由許多分別在不同神經元中被啟用的模式表示，而每個神經元又可以參與到不同的語義概念的表示中去。即「分布式表示」與神經元是乙個多對多對映。如輸入影象為224*224，最後一層匯合層可得到7*7*512的響應張量，512為最後一層卷積核的個數，對應了512個不同的卷積結果（512張特徵圖或通道）。對於某個模式，會有不同卷積核產生相應，對於某個卷積核，會在不同模式上產生響應。
經典網路案例：alex-net vgg-nets nin 殘差神經網路。
cnn的壓縮：
cnn雖然效果很好，但過大的參數量不適用於實際應用。研究表明，cnn面臨著嚴峻的過引數化（模型內部引數存在著巨大的冗餘），denil等人發現，只給定很小一部分引數子集（約全部參數量的5%），便可完整地重構出剩餘引數，揭示了模型壓縮的可行性。但引數冗餘在模型訓練階段是必須的。
前端壓縮：不改變網路結構的壓縮技術，主要包括知識蒸餾、緊湊的模型結構設計、濾波器層面的剪枝。只改變網路層數或濾波器個數。
後端壓縮：包括低秩近似、未加限制的剪枝、引數量化、二值網路。改變了網路結構。
alex-net網路：
alexnet有5個卷積層和3個全連線層，作者發現移除任意一層都會降低最終的效果。網路結構如圖：
具體說明參考：
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習，聯想起之前所學，感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律，e mc 描述了恆星發光的奧秘，v h d哈勃定律描述了宇宙膨脹的奧秘，自然界的大部分現象和規律都可以用數學函式來描述，也就是可以求得乙個函式。神經網路 簡單又...