paddleslim是乙個模型壓縮工具庫，包含模型剪裁、定點量化、知識蒸餾、超參搜尋和模型結構搜尋等一系列模型壓縮策略。
對於業務使用者，paddleslim提供完整的模型壓縮解決方案，可用於影象分類、檢測、分割等各種型別的視覺場景。 同時也在持續探索nlp領域模型的壓縮方案。另外，paddleslim提供且在不斷完善各種壓縮策略在經典開源任務的benchmark, 以便業務使用者參考。
對於模型壓縮演算法研究者或開發者，paddleslim提供各種壓縮策略的底層輔助介面，方便使用者復現、調研和使用最新**方法。 paddleslim會從底層能力、技術諮詢合作和業務場景等角度支援開發者進行模型壓縮策略相關的創新工作。
定點量化
離線量化（post training）
知識蒸餾
神經網路結構自動搜尋（nas）
依賴：paddle >= 1.7.0
pip install paddleslim -i資料: imagenet2012; 模型: mobilenetv1;
壓縮策略
精度收益(baseline: 70.91%)
模型大小(baseline: 17.0m)
知識蒸餾(resnet50)
+1.06%-
知識蒸餾(resnet50) + int8量化訓練
+1.10%-71.76%
剪裁(flops-50%) + int8量化訓練
-1.71%-86.47%
資料：pascal voc；模型：mobilenet-v1-yolov3¶
壓縮方法
map(baseline: 76.2%)
模型大小(baseline: 94mb)
知識蒸餾(resnet34-yolov3)
+2.8%-
剪裁 flops -52.88%
+1.4%-67.76%
知識蒸餾(resnet34-yolov3)+剪裁(flops-69.57%)
+2.6%-67.00%
資料：coco；模型：mobilenet-v1-yolov3¶
壓縮方法
map(baseline: 29.3%)
模型大小
知識蒸餾(resnet34-yolov3)
+2.1%-
知識蒸餾(resnet34-yolov3)+剪裁(flops-67.56%)
-0.3%-66.90%
資料：imagenet2012; 模型：mobilenetv2
硬體環境
推理耗時
top1準確率(baseline:71.90%)
rk3288
-23%+0.07%
android cellphone
-20%+0.16%
iphone 6s
-17%+0.32%
深度學習模型壓縮
1 引入1 1的卷積降維 inception v1 例如googlenet，假設輸入是28 28 192的feature map，1 1的channel是64，3 3的channel是128，5 5的channel是32 在左圖被3個 不同尺寸的卷積核卷積之後，參數量是1 1 192 64 3 3 ...
深度學習模型壓縮
前言 目前在深度學習領域分類兩個派別，一派為學院派，研究強大 複雜的模型網路和實驗方法，為了追求更高的效能 另一派為工程派，旨在將演算法更穩定 高效的落地在硬體平台上，效率是其追求的目標。複雜的模型固然具有更好的效能，但是高額的儲存空間 計算資源消耗是使其難以有效的應用在各硬體平台上的重要原因。最近...
深度學習模型壓縮方法綜述（一）
深度學習模型壓縮方法綜述 一 深度學習模型壓縮方法綜述 二 深度學習模型壓縮方法綜述 三 目前在深度學習領域分類兩個派別，一派為學院派，研究強大 複雜的模型網路和實驗方法，為了追求更高的效能 另一派為工程派，旨在將演算法更穩定 高效的落地在硬體平台上，效率是其追求的目標。複雜的模型固然具有更好的效能...