全連線的缺點：
隨著的增大參數量迅速增長o(
n2) o(n
2)
2.而且很多引數都是沒什麼用的，兩個距離非常遠的畫素點相互其實沒有什麼關聯，不需要把它們放在一起做乘加
卷積層使用步長為一的原因：
盡量在卷積層不丟失資訊，只負責資料的變換，而降取樣只由pooling層負責，使得這兩個層之間是orthogonal，方便調參。
記憶體和計算時間大部分在卷積層（反向傳播是需要使用中間資料計算鏈式求導的中間資料），而引數大多數都在fc層
瓶頸大多在於記憶體：
每一層所產生中中間結果（計算反向傳播時使用），在測試時可以不用儲存
引數的儲存，如果使用帶有移動平均的優化方式還有多存出幾倍的參數量
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習，聯想起之前所學，感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律，e mc 描述了恆星發光的奧秘，v h d哈勃定律描述了宇宙膨脹的奧秘，自然界的大部分現象和規律都可以用數學函式來描述，也就是可以求得乙個函式。神經網路 簡單又...