深度學習模型壓縮方法綜述(二)

2021-08-29 04:41:49 字數 608 閱讀 1786

深度學習模型壓縮方法綜述(一)

深度學習模型壓縮方法綜述(二)

深度學習模型壓縮方法綜述(三)

上一章,將基於核的稀疏化方法的模型壓縮方法進行了介紹,提出了幾篇值得大家去學習的**,本章,將繼續對深度學習模型壓縮方法進行介紹,主要介紹的方向為基於模型裁剪的方法,由於本人主要研究的為這個方向,故本次推薦的**數量較多,但都是非常值得一讀的。

對以訓練好的模型進行裁剪的方法,是目前模型壓縮中使用最多的方法,通常是尋找一種有效的評判手段,來判斷引數的重要性,將不重要的connection或者filter進行裁剪來減少模型的冗餘。同樣也分為regular和irregular的方式。 這類方法最多,下面列舉幾篇典型的方案。

可以看出來,基於模型裁剪的方法很多,其思路源頭都是來自於oracle pruning 的方法,即挑選出模型中不重要的引數,將其剔除而不會對模型的效果造成太大的影響,而如何找到乙個有效的對引數重要性的評價手段,在這個方法中就尤為重要,我們也可以看到,這種評價標準花樣百出,各有不同,也很難判定那種方法更好。在剔除不重要的引數之後,通過乙個retrain的過程來恢復模型的效能,這樣就可以在保證模型效能的情況下,最大程度的壓縮模型引數及運算量。目前,基於模型裁剪的方法是最為簡單有效的模型壓縮方式。(未完待續)

深度學習模型壓縮方法綜述(二)

深度學習模型壓縮方法綜述 一 深度學習模型壓縮方法綜述 二 深度學習模型壓縮方法綜述 三 上一章,將基於核的稀疏化方法的模型壓縮方法進行了介紹,提出了幾篇值得大家去學習的 本章,將繼續對深度學習模型壓縮方法進行介紹,主要介紹的方向為基於模型裁剪的方法,由於本人主要研究的為這個方向,故本次推薦的 數量...

深度學習模型壓縮方法綜述(一)

深度學習模型壓縮方法綜述 一 深度學習模型壓縮方法綜述 二 深度學習模型壓縮方法綜述 三 目前在深度學習領域分類兩個派別,一派為學院派,研究強大 複雜的模型網路和實驗方法,為了追求更高的效能 另一派為工程派,旨在將演算法更穩定 高效的落地在硬體平台上,效率是其追求的目標。複雜的模型固然具有更好的效能...

深度學習模型壓縮方法綜述(一)

深度學習模型壓縮方法綜述 一 深度學習模型壓縮方法綜述 二 深度學習模型壓縮方法綜述 三 目前在深度學習領域分類兩個派別,一派為學院派,研究強大 複雜的模型網路和實驗方法,為了追求更高的效能 另一派為工程派,旨在將演算法更穩定 高效的落地在硬體平台上,效率是其追求的目標。複雜的模型固然具有更好的效能...