1、稀疏性的重要性，暫時只理解到以下幾點：
1）稀疏性有利於突出重點
2）人腦神經的啟用是稀疏的
3）稀疏性減少了資訊量，有利於增加記憶量
4）稀疏的特徵更加線性可分
5）計算量減小
6）屬於一種正則化，減少了過擬合（不限制的話，乙個輸入有無數種編碼可能）
2、特徵排列有序指的是：相似的輸入（影象等）應該啟用相鄰的神經元。重要性：
1）如果輸出特徵雖然是稀疏的，卻並不平滑，不利於學習
2）輸出的編碼能體現相互之間的相關性，對於分類器等有更好的作用
3）通過區域性歸類強制輸出的編碼有序，避免刻意擬合資料，減少過擬合
多執行緒學習一 可見性 原子性和有序性
在單核時代，所有的快取都操作同乙個cup上的快取，所以可見性很容易解決。當a執行緒更新了快取上的變數，那麼在b執行緒去訪問該變數的時候，拿到的一定是最新值。在多核時代，每個cup都有自己的快取區，當不同cup上的執行緒去訪問記憶體中的同個變數時，假設該變數在cup中都有快取。那麼不同cup上的執行緒...
可見性 原子性和有序性問題
核心矛盾 這些年，我們的 cpu 記憶體 i o 裝置都在不斷迭代，不斷朝著更快的方向努力。但是，在這個快速發展的過程中，有乙個核心矛盾一直存在，就是這三者的速度差異。我形象的描述了一下這三者的速度上的差異 所謂天上一天地上一年 愛因斯坦的相對論是有合理解釋的 cpu和記憶體之間的速度差異就是cpu...
多執行緒（一 併發理論基礎，可見性 原子性和有序性）
單核時代所有的執行緒都在一顆cpu上執行，cpu快取與記憶體一致性容易解決。所有執行緒都操作同一顆cpu的快取，乙個執行緒對快取的寫，對另乙個執行緒來說是可見的。乙個執行緒對共享變數的修改，另乙個執行緒立馬可見，這就是可見性。多核時代每個cpu都有自己的快取，多個執行緒在不同的cpu上執行時，這些執...