該課程布置了幾個有趣的小任務，其中我實現了任務3~任務6
使用正則化去優化深度學習模型
初始**：開啟 ipython notebook 中的這個任務：3_regularization.ipynb，按照指導去完成和執行每乙個步驟。有些示例**已經提供給你。
該任務要求實現regularization、dropout和learning rate decay，實驗發現regularization提公升效果明顯。
設計並訓練乙個卷積神經網路
初始**：開啟 ipython notebook 中的這個任務 (4_convolutions.ipynb), 按照指導去完成和執行每乙個步驟。 有些示例**已經提供給你。
該任務要求實現lenet5，使用28x28的作為輸入。
lenet5共有七層，如下所示。
lenet-5中主要的有卷積層、下抽樣層、全連線層3中連線方式。卷積層採用的都是5x5大小的卷積核。
c1層是卷積層，形成6張大小是28x28的特徵圖。卷積核有5x5個連線引數加上1個偏置共26個引數。
s2層是乙個下抽樣層。c1層的6個28x28的特徵圖分別進行以2x2為單位的下抽樣得到6個14x14的圖。每個特徵圖使用乙個下抽樣核，每個下抽樣核有兩個訓練引數，所以共有2x6=12個訓練引數，但是有5x14x14x6=5880個連線。
c3層是乙個卷積層，卷積和和c1相同，不同的是c3的每個節點與s2中的多個圖相連。c3層有16個10x10的特徵圖。怎麼由6張特徵圖變成16張特徵圖呢？使用16個卷積核，每個卷積核和6張特徵圖卷積，卷積得到的結果再加權。
s4層是乙個下取樣層。c3層的16個10x10的圖分別進行以2x2為單位的下抽樣得到16個5x5的圖。這一層有2x16共32個訓練引數，5x5x5x16=2000個連線。連線的方式與s2層類似。
c5層是乙個卷積層。由於s4層的16個圖的大小為5x5，與卷積核的大小相同，所以卷積後形成的圖的大小為1x1。這裡形成120個卷積結果。每個都與上一層的16個圖相連。所以共有(5x5x16+1)x120 = 48120個引數，同樣有48120個連線。
f6層是全連線層。f6層有84個節點，對應於乙個7x12的位元圖，-1表示白色，1表示黑色，這樣每個符號的位元圖的黑白色就對應於乙個編碼。該層的訓練引數和連線數是(120 + 1)x84=10164。
output層也是全連線層，共有10個節點，分別代表數字0到9。
深度學習介紹（四）卷積操作
接下來介紹一下，cnns是如何利用空間結構減少需要學習的引數數目的 如果我們有一張1000x1000畫素的影象，有1百萬個隱層神經元，那麼他們全連線的話 每個隱層神經元都與影象的每乙個畫素點相連 這樣就有1000x1000x1000000 10 12個連線，也就是10 12個權值引數。然而影象的空間...
深度學習筆記（24） 卷積層
乙個典型的卷積神經網路的卷積層，而通常有三層 首先介紹的是卷積層conv，從conv的向前傳播開始 前向傳播中乙個操作就是 z 1 w 1 a 0 b 1 其中 a 0 x 執行非線性函式得到 a 1 即 a 1 g z 1 這裡的輸入是a 0 也就是x，這些過濾器用變數 w 1 表示 在卷積過程中...
深度學習筆記017卷積層
看到一句話，其實卷積層就是一種濾波器，放大它感興趣的，縮小它不感興趣的，很有道理。二維卷積層的數學表達 這裡這個w其實就是kernel，是在這裡通過這種方式學習出來的引數，表現出來的就是乙個矩陣。b是偏差，通過廣播機制作用給y。二維交叉和二維卷積，就差乙個翻轉的關係 為了簡單，我們把負號刪掉了。所以...