原部落格：
用不是特別嚴謹但是比較通俗的語言描述整個過程
卷積神經網路是從卷積層開始介紹的，而卷積層的介紹是從全連線層開始介紹的。
全連線層的處理方式是一次性處理一張的全部資訊，處理的方式是將資訊和權重矩陣做乘積，得到乙個評分結果。
在細節層面上：
我們會把一張圖的全部資訊拉成乙個一維的向量，一張圖的全部資訊原始的狀態像乙個長方體（32x32x3）權重矩陣和這個資訊的矩陣乘法，本質上來說其實是一次性進行多個點積運算，因為你可以把權重的每一行想象成某一類影象的典型特徵，本質上，沒有什麼矩陣乘法只有點積，或者一次性多個批量的點積，點積才是能說出意義的操作。
本質上來說，全連線層的提取特徵是整體一次性，而卷積層的特徵提取是一點一點的提取。
卷積層的處理方法，在最核心的數學處理方面是沒有本質不同的，需要借助「點積」這個數學工具，但是整個處理流程上改進了許多。
首先全連線層對影象是整體處理，而卷積是區域性多次處理。它背後的深意其實是一開始我們認為的特徵資訊可以一次性就全部提取出來，變為我們認為需要將特徵進行分割和組合，經過多次粗到細化才能提取出來的。
具體做法是，我們把之前整個大w變為乙個乙個小的w, 讓每乙個小的w和上的每乙個區域都進行匹配測試（匹配的方式就是用點積），並把匹配的經過進行記錄到乙個矩陣中去（這些小的權重，通俗而不是專業一點的說法叫做「過濾器（filter）， 還有乙個更加專業的說法稱之為卷積核）之後再拿乙個小的w和上的每個區域都進行了匹配測試又得到乙個矩陣，就這麼反反覆覆（不斷訓練），得到最優化的權重矩陣。
之後這些矩陣經過啟用函式的處理relu,處理結果應該還是乙個矩陣。
知識點知識點1：是儲存資訊的形象表達
1. 矩陣表示
典型的灰度圖
2. 向量表示
3.長方體表示（volume）
一張rgb
知識點2：權重
什麼叫過濾器，就是符合特徵的資訊，過濾器能夠把它篩選出來，不符合特徵的過濾器能把它過濾掉，這個就是過濾器。很明顯，這個過濾器其實就是某種影象特徵的數學表示式，通過點積運算能夠篩選特徵匹配度最高的影象部分。
2.2 過濾器的空間特性
過濾器是乙個三維的空間矩陣。
我們雖然是用二維的過程來展示，實際上過濾器的資料結構是三維的。
「filters always extend the full depth of the input volume」
過濾器會延展到輸入空間的完整深度。
2.3 運算
過濾器與影象的一部分進行點積運算（其實還要加上乙個偏置）得到乙個標量數字
其實就是把以前整張圖的權重進行運算的過程變成小權重和影象的一部分進行運算的過程。運算的本質沒有變。
2.4 到底是點積還是卷積
我們做的「卷積」， 理論上其運算的方式是，filter和它覆蓋的影象，它們在空間位置上一一對應的元素相乘，結果是和把filter以其覆蓋的影象分別展成乙個一維的向量再做點積結果是一樣的。而在計算機實際的實現過程中，我們就是按照展開成一維向量再做點積的方式進行處理的。
那麼其實這裡的「卷積」和「點積」本質上其實是一樣的。
2.5 卷積核裡的引數是訓練出來的
卷積核就是小一點的權重，而權重都是訓練出來的，那麼卷積核的權重也是訓練出來的。
雖然網路結構是人為設計出來的，但是裡面的引數是訓練得到的。
2.6 數量關係
從動態特徵可以總結出數量之間的關係，有幾個常用的表示方法
2.7 感受野
從腦科學神經的角度來理解，卷積核也可以稱為「感受野」
2.8 池化層
1.池化層的作用就是降低資料量
2.池化層只縮減長度和寬度，不改變深度。
3. 最大池化
從這張圖就能看出
3.1 取樣的方法其實還是區域性掃瞄的方法（這點和卷積過程一樣）
3.2 和卷積不同的地方在於第一，步長採用最高的上限，第二運算的方式是取每個區域性的最大值。
4. 為什麼是最大池化而不是均值池化
其實每個區域性區域中的每乙個值都是經過激勵函式產生的值，它體現了這個區域性的某一特種，我們就拿這個區域性特徵最明顯的那個作為這個區域性的代表就可以了。
5. 既然設定步長和池化都能做取樣，能否只用步長不用池化或者只用池化而不用步長？
可以這麼做，確實在工業界有人這麼做。
知識點5： 卷積層重複的次數
lenet 重複了3次
stride例子重複了6次
CS231n課程筆記翻譯
賀完結！cs231n官方筆記授權翻譯總集篇發布 智慧型單元 知乎專欄 cs231n課程筆記翻譯 影象分類筆記 上 智慧型單元 知乎專欄 cs231n課程筆記翻譯 影象分類筆記 下 智慧型單元 知乎專欄 cs231n課程筆記翻譯 線性分類筆記 上 智慧型單元 知乎專欄 cs231n課程筆記翻譯 線性分...
CS231n課程筆記翻譯
賀完結！cs231n官方筆記授權翻譯總集篇發布 智慧型單元 知乎專欄 cs231n課程筆記翻譯 影象分類筆記 上 智慧型單元 知乎專欄 cs231n課程筆記翻譯 影象分類筆記 下 智慧型單元 知乎專欄 cs231n課程筆記翻譯 線性分類筆記 上 智慧型單元 知乎專欄 cs231n課程筆記翻譯 線性分...
CS231n課程筆記 線性分類
1 該分類器必須記住所有訓練資料並將其儲存起來，方便和未來資料進行比較，但這在儲存空間上是低效的。2 對乙個測試影象進行分類需要和所有訓練影象作比較，在計算上，資源耗費高。評分函式是原始影象資料到類別分值的對映。另乙個損失函式是用來量化 分類標籤的得分與真實標籤之間的一致性的。該方法可轉化為乙個最優...