1.
compressing and regularizing deep neural networks
（1）權重值的大小反映了連線的重要性——刪除不夠重要的連線（called pruning）。
（2）權重值輕微的變動對模型的**能力影響甚微——權重共享（值接近的權重共享同乙個權重值，通過索引表查詢）
——帶來的好處是：減少過擬合，計算，儲存，耗能。增加可解釋性（私以為）。
（3）dense-sparse-dense（dsd）：在高山參加短跑訓練的運動員，回到平地跑的更快。同理，經過稀疏正則化訓練的網路，重新進行稠密訓練，準確率會更高。（重新稠密訓練時，之前被刪掉的連線權重被置為0）
參考文獻：
（1）compressing and regularizing deep neural networks
（2）deep compression: compressing deep neural networks with pruning, trained quantization and huffman coding
（3）dsd: dense-sparse-dense training for deep neural networks
2.filter/kernel/neuron in cnn：乙個filter其實應該被成為乙個特殊的「feature detector」，因為其本身就代表了與某個感受野（receptive field）的匹配度。卷積的過程，實際上就是feature detector與receptive field匹配的過程，經過相應位置的相乘最後相加得到的值被輸入啟用函式，得到的啟用值越大，則說明匹配度越高。
靠譜的匹配得到更大的啟用值
不靠譜的匹配得到更小的啟用值
卷積結束，得到若干張特徵圖（乙個filter得到一張特徵圖，或者叫啟用圖）。每張特徵圖的每乙個特徵值都是前面一層每一次卷積得到的啟用值。假設filter都是5x5x1，那麼第一層的filter匹配原始影象25面積的區域特徵，而當新的filter對第一次卷積得到的特徵圖進行再次卷積操作時，就意味著對原始影象的25x25=625面積的區域特徵進行匹配，而此時的filter仍然是5x5x1！也就是說，此時的filter是更抽象的「feature detector」！如果說第一層的filter提取的特徵是線條，則第二層的filter提取的特徵就是形狀！網路層次越深，提取的特徵越抽象。
rgb影象的filter
3. cnn的訓練：forward pass，loss function，backward pass，upgrade weightsfor each iteration，each batch。forward pass 表示直觀的學習；
loss function 用於衡量學習效果；backw pass 把學習效果反饋回去，提醒下次學習注意；upgrade weights ，使用梯度下降法，找到最能改善loss function的weights，然後更新。
跟小孩子學習認人認物一樣，大人在旁邊教，這是爸爸，這是媽媽，這是哥哥，這是姐姐，。。。，哥哥老是認不對，於是重點練習。這樣不斷試錯，直到學會為止。
（1）（2）
visualizing and understanding convolutional networks
————人的幸福感主要來自健康和諧的人際關係。如果你總是跟身邊的人格格不入，原因之一可能是你太在意這些人本身（長相，性格，品行，等等），但事實是，交流才是最重要的。交流是人際關係的實質所在。
技術解析 模型量化壓縮
隨著深度學習技術滲透入越來越多領域，人工智慧在邊緣側的大規模應用被提上日程。尤其這兩年人工智慧 計算機視覺方向在安全生產 工業質檢 智慧型硬體等應用場景中在廣泛應用，這些應用場景往往對效能及資料安全有苛刻的要求，故而在邊緣計算 移動終端 嵌入式終端的產品落地也隨之進入白熱化階段。終端落地很重要的兩個...
模型壓縮 剪枝
這篇文章是對自己關於模型壓縮進行學習的總結與歸納。在研究模型壓縮這一塊的內容這麼長時間，發現自己不夠深入，有些混亂，因此希望這篇文章可以讓自己的思路更加清晰。模型壓縮的方法中，包括剪枝，量化，多值網路，模型蒸餾等。其中剪枝的方法，應用的更多，此篇文章主要就說剪枝。剪枝最初是在決策樹學習演算法中，用於...
模型壓縮總結
常用的模型壓縮技術有 1 奇異值分解 singular value decomposition svd 2 網路剪枝 network pruning 使用網路剪枝和稀疏矩陣 3 深度壓縮 deep compression 使用網路剪枝，數位化和huffman編碼 4 硬體加速器 hardware a...