模型量化 對稱量化和非對稱量化

2021-10-25 17:14:37 字數 929 閱讀 9287

本文的模型量化是優化深度學習模型推理過程的記憶體容量和記憶體頻寬問題的概念,通過將模型引數的浮點數型別轉換稱整型儲存的一種模型壓縮技術。以可以接受的精度損失換取更少的儲存開銷和頻寬需求,更快的計算速度,更低的能耗與占用面積。

比如int8量化,就是讓原來32bit儲存的數字對映到8bit儲存。int8範圍是[-128,127], uint8範圍是[0,255]。

模型量化優點:

模型量化缺點:

比如進行int8的量化,資料範圍是[-128,127],最大值最小值分別是xmax, xmin,x_q表示量化後的資料,x_f表示浮點資料。

x_q=x_f/scale +zero

scale=(xmax-xmin)/(127-(-128))=(xmax-xmin)/255

zero=0-round(xmin/scale)或者zero=255-round(xmax/scale)

量化方式分為對稱量化非對稱量化,其中上面是非對稱量化的方式,如果是對稱量化,則是將原浮點數的範圍由[xmin, xmax]擴充為[-xmax, xmax],這裡假定 |xmax|>|xmin|。然後按照上面公式轉換量化值。對稱量化對於正負數不均勻分布的情況不夠友好,比如如果浮點數全部是正數,量化後的資料範圍是[128,255], [0,127]的範圍就浪費了,減弱了int8資料的表示範圍。

對稱量化的圖示

非對稱量化的圖示

對稱加密和非對稱加密!

主要是對稱加密和非對稱加密兩種。可供各位參考 using system using system.collections.generic using system.linq using system.text using system.security.cryptography using syst...

對稱加密和非對稱加密!

對稱加密演算法 對稱加密演算法是應用較早的加密演算法,技術成熟。在對稱加密演算法中,資料發信方將明文 原始資料 和加密金鑰一起經過特殊加密演算法處理後,使其變成複雜的加密密文傳送出去。收信方收到密文後,若想解讀原文,則需要使用加密用過的金鑰及相同演算法的逆演算法對密文進行解密,才能使其恢復成可讀明文...

對稱加密和非對稱加密

對稱加密是最快速 最簡單的一種加密方式,加密 encryption 與解密 decryption 用的是同樣的金鑰 secretkey 對稱加密有很多種演算法,由於它效率很高,所以被廣泛使用在很多加密協議的核心當中。非對稱加密為 資料的加密 與解密提供了乙個非常安全的方法,它使用了一對金鑰,公鑰 p...