《quantization mimic: towards very tiny cnn for object detection》
常見的模型壓縮方法有：量化（binarynet）、分組卷積（shufflenet、mobilenet）、剪枝和 mimic。mimic 前身是知識蒸餾，屬於遷移學習
演算法過程：
1、訓練乙個 fp32 的教師網路（teacher network）
2、對 feature map 進行量化，得到量化後的教師網路
3、teacher-student network，得到乙個量化後的學生網路
量化後的網路，可以通過 fpga 加速。
當學生網路過小的時候，mimic方法可能學不到 high-level representations from teacher networks。量化後的網路的 feature map 的搜尋空間會減少很多，更容易訓練
mimic 使用 l2 損失
模型壓縮 剪枝
這篇文章是對自己關於模型壓縮進行學習的總結與歸納。在研究模型壓縮這一塊的內容這麼長時間，發現自己不夠深入，有些混亂，因此希望這篇文章可以讓自己的思路更加清晰。模型壓縮的方法中，包括剪枝，量化，多值網路，模型蒸餾等。其中剪枝的方法，應用的更多，此篇文章主要就說剪枝。剪枝最初是在決策樹學習演算法中，用於...
模型壓縮總結
常用的模型壓縮技術有 1 奇異值分解 singular value decomposition svd 2 網路剪枝 network pruning 使用網路剪枝和稀疏矩陣 3 深度壓縮 deep compression 使用網路剪枝，數位化和huffman編碼 4 硬體加速器 hardware a...
壓縮感知理論模型
最初的壓縮感知是由cand s donoho他們提出來的問題。最初壓縮感知那幾篇文章裡的模型 y x 模型一 都是從純數學角度來考慮的，問題也是針對稀疏訊號x研究的。研究的是 什麼樣的 以怎樣的方式，能夠從 y 中恢復x。在後續的研究過程中發現很多訊號x壓根不稀疏，自然也就不滿足模型一的要求了。經過...