常用的模型壓縮技術有：
（1）奇異值分解(singular value decomposition (svd))
（2）網路剪枝（network pruning）：使用網路剪枝和稀疏矩陣
（3）深度壓縮（deep compression）：使用網路剪枝，數位化和huffman編碼
（4）硬體加速器（hardware accelerator）
padding = 「same」輸入和輸出大小關係如下：
輸出大小等於輸入大小除以步長向上取整，s是步長大小；
padding = 「valid」輸入和輸出大小關係如下：
輸出大小等於輸入大小減去濾波器大小加上1，最後再除以步長（f為濾波器的大小，s是步長大小）。
模型壓縮文章總結
1 模型壓縮好文章匯 tinybert 在統計學中，均方誤差 英語 mean square error mse 是對於無法觀察的引數x的乙個估計函式t 其定義為 mse t e x t 2 在文中針對各層介紹了幾種損失函式 1 embedding層 teacher和student的詞嵌入層的蒸餾均方...
模型壓縮 剪枝
這篇文章是對自己關於模型壓縮進行學習的總結與歸納。在研究模型壓縮這一塊的內容這麼長時間，發現自己不夠深入，有些混亂，因此希望這篇文章可以讓自己的思路更加清晰。模型壓縮的方法中，包括剪枝，量化，多值網路，模型蒸餾等。其中剪枝的方法，應用的更多，此篇文章主要就說剪枝。剪枝最初是在決策樹學習演算法中，用於...
模型壓縮 Quantization Mimic
quantization mimic towards very tiny cnn for object detection 常見的模型壓縮方法有 量化 binarynet 分組卷積 shufflenet mobilenet 剪枝和 mimic。mimic 前身是知識蒸餾，屬於遷移學習 演算法過程 1...