越來越覺得sparse在學習過程中的重要性了，正是sparse，才導致了有限空間內，可以儲存更多的記憶，如果沒有saprse，來了模式1，你的記憶存滿，來了模式2，你的記憶將被修改。此時你就無法同時記憶模式1和模式2。
類似dropout、sparse、以及retifier這些東西，本質上還是增加sparse，那麼增加了sparse之後會有什麼效果？我認為實際上是增加了網路的記憶能力。正如上面說過的，可以記憶多種模式，那麼自然多個模式下識別效果必然要好的多。如果只有乙個模式，我還是覺得用不用sparse效果都是可以的。
最近做了不少神經網路的東西，越發覺得sparse才是提高網路效能（記憶）的主要方面。當乙個網路有了記憶，自然而然的就具備了更強的**能力。
Micheal Nielsen s神經網路學習之二
依然是跟著michael nielsen的神經網路學習，基於前一篇的學習，已經大概明白了神經網路的基本結構和bp演算法，也能通過神經網路訓練數字識別功能，之後我試驗了一下使用神經網路訓練之前的文字分類，只是簡單的使用了詞頻來作為詞向量處理過程，沒有任何的其他調參過程，對於八分類，其正確率到了84 相...
Micheal Nielsen s神經網路學習之二
依然是跟著michael nielsen的神經網路學習，基於前一篇的學習，已經大概明白了神經網路的基本結構和bp演算法，也能通過神經網路訓練數字識別功能，之後我試驗了一下使用神經網路訓練之前的文字分類，只是簡單的使用了詞頻來作為詞向量處理過程，沒有任何的其他調參過程，對於八分類，其正確率到了84 相...
動手學pytorch 卷積神經網路基礎
1.二維卷積層 2.填充和步幅 3.多輸入通道和多輸出通道 4.卷積層與全連線層的對比 5.池化 二維互相關 cross correlation 運算的輸入是乙個二維輸入陣列和乙個二維核 kernel 陣列，輸出也是乙個二維陣列，其中核陣列通常稱為卷積核或過濾器 filter 卷積核的尺寸通常小於輸...