使用原因深度學習因其計算複雜並且引數冗，在一些場景和裝置上限制了相應模型的部署，需要借助模型壓縮、優化加速、異構計算等方法突破瓶頸。
優勢模型壓縮演算法能夠有效降低引數冗餘，從而減少儲存占用、通訊頻寬和計算複雜度，具體可分為以下三種方法：
線性或非線性量化：1/2bits，int8，fp16等；
結構或非結構剪枝：deep conmpression，channel pruning，network slimming等；
其他：權重矩陣的低秩分解，知識蒸餾等。
模型壓縮方法總覽
低秩分解：矩陣分解的技術已經非常成熟了，近些年已經不再流行了，原因在於現在越來越多的網路中採用1*1的卷積，而這種小的卷積使用矩陣分解的方法很難實現網路加速和壓縮。
網路剪枝：其主要思想在於將權重矩陣中相對「不重要」的權值剔除，然後再重新fine tune網路進行微調。
廣義上的剪枝包括：①正則化：修改目標函式/學習問題，優化後可能會得到乙個引數較少的神經網路。②修剪：面向大規模神經網路，並刪除某些意義上大規模的特徵或引數。③增長：從小型網路開始，按某種增長標準逐步增加新的單元。
知識蒸餾
車聯網邊緣計算相關 基本知識點
本篇只記錄一些基本要點，提供乙個思路，沒有涉及具體的公式。記錄的要點蠻淺顯的，一邊學習一邊補充吧。車聯網具有節點高速移動 拓撲結構動態變化 異構節點共存和缺乏重要的資訊中繼等特點。車聯網的網路架構主要可以概括為四層 感知層 接入層 網路層 應用層。車聯網建模需要考慮的一些因素 1 頻寬，影響通訊傳輸...
邊緣計算來了 「感知」智慧型城市
無論是德國首府柏林，還是歐洲名城巴塞隆拿，被譽為正規化的智慧型城市構建，都不乏綠色 低碳 智慧型元素的參與，三者相輔相成，相得益彰。在中國，智慧型城市是城市化發展的高階階段，智慧型城市建設是推進符合中國特色的城市資訊化樣本，兼具戰略和現實意義。智慧型城市構想是創造 宜居 舒適 安全 的城市生活環境，...
智慧型工廠用到的技術 邊緣計算，這個技術不「邊緣」
重慶市近日出台了 新型基礎設施重大專案建設行動方案 2020 2022年 提出 支援企業建設面向行業應用需求的邊緣計算節點 邊緣計算的名字不禁讓人感覺有點 非主流 但其實作為新型基礎設施之一，它早已是產業熱點了。例如，國家工業和資訊化部自2017年開始每年都會組織邊緣計算產業峰會，並明確表態 要加大...