（以乙個30_*30_*2的舉例子）
卷積層：特徵提取。剛剛開始我就不理解為啥卷積層光靠幾行**就能提取特徵？後來通過閱讀網上相關文獻才得知，卷積層，甚至是整個神經網路其實就是就是乙個人的思考過程，我們的大腦在觀察一張的時候，由於能力有限，有些時候會不會「放眼看全部」，而是「一部分一部分地去看」，也就是「區域性觀察」，然後提取出每個「區域性中比較有價值的線索」，然後將所有「線索」綜合考慮，然後再分析出這張是什麼東西。具體實現就是將一張轉化成矩陣後，拿出你框出「區域性」需要使用的工具——感受野，框出一部分，然後再通過「思考」——特徵圖的大小計算公式，得到一張10_*10_*1的、通過感受野與原相結合而產生的一張特徵圖，也就是我們「腦海中的區域性」。
池化層：對輸入的特徵圖進行壓縮，一方面使特徵圖變小，簡化網路計算複雜度；一方面進行特徵壓縮，提取主要特徵。池化有平均池化和最大池化，舉個例子：我設定2*2、步長為1的池化，第一步會在特徵大矩陣中圈出乙個22的小矩陣，如果是**最大池化**，那麼我會在這4個元素中取最大的元素，然後將他作為他們4個的**代表**參與這場"**比賽**"、淘汰其他3個人，選出許多個代表參加「比賽」，如此反覆。如果我要求輸出55^1的壓縮，那麼最後剩下的就是25個「贏家」，也就是25個能真正代表這張特徵的元素。整個（最大）池化就類似於乙個淘汰賽機制。
全連線層：連線所有的特徵，將輸出值送給分類器。
全連線層類似於由很多個神經元所構成神經網路連線系統，用於傳輸資訊。如果將一列一列的神經元用全連線層連線起來，再加上之前的卷積層和池化層，那麼就可以得到乙個完整的神經網路。
啟用函式的作用就是使用非線性因素更好的解決神經網路中的分類等問題。在我看來，如果沒有啟用函式，就好比教乙個人思考問題，你教他1是1，2是2，那麼如果你問他1.5是多少，好，他就傻眼了。
（一）關於硬、軟飽和
對於乙個啟用函式f（x），存在某乙個常數c，當x>c（x0，稱為右（左）軟飽和；存在某乙個常數r，當x>r（x（二） 常見的啟用函式：
（1）sigmoid函式
（2）tanh函式
（3）relu函式
部落格1部落格2
部落格3
（第一次發部落格，若有缺漏，敬請指教）
非區域性神經網路，打造未來神經網路基本元件
將非區域性計算作為獲取長時記憶的通用模組，提高神經網路效能在深度神經網路中，獲取長時記憶 long range dependency 至關重要。對於序列資料 例如語音 語言 遞迴運算 recurrent operation 是長時記憶建模的主要解決方案。對於影象資料，長時記憶建模則依靠大型感受野，後...
非區域性神經網路，打造未來神經網路基本元件
將非區域性計算作為獲取長時記憶的通用模組，提高神經網路效能在深度神經網路中，獲取長時記憶 long range dependency 至關重要。對於序列資料 例如語音 語言 遞迴運算 recurrent operation 是長時記憶建模的主要解決方案。對於影象資料，長時記憶建模則依靠大型感受野，後...
非區域性神經網路，打造未來神經網路基本元件
將非區域性計算作為獲取長時記憶的通用模組，提高神經網路效能在深度神經網路中，獲取長時記憶 long range dependency 至關重要。對於序列資料 例如語音 語言 遞迴運算 recurrent operation 是長時記憶建模的主要解決方案。對於影象資料，長時記憶建模則依靠大型感受野，後...