實時目標檢測的延遲也更低了：
這是谷歌特意為移動裝置和web端開發的一系列新工具，可以在幾乎不影響ai模型推理準確性的同時，「修剪」模型大小，以提公升模型推理速度。
最好的情況下，能將ai模型的推理速度提公升2倍，模型大小「縮水」一半。
這是怎麼做到的？
這一過程，利用了ai、機器學習模型的稀疏性。
稀疏性，指在神經網路模型中，可以將部分網路的權重設定為0，以加快推理速度。
它的實現過程，有點像是玩只抽走積木的疊疊樂遊戲。
使用者要在保證模型不會「坍塌」的同時，抽走部分引數（將引數設定為0）。
這是因為，ai模型在進行推理任務時，往往涉及大量矩陣乘法運算。
如果能在不影響推理結果的同時，將矩陣中的部分引數設定成0，就能極大地加快矩陣運算速度，縮短推理時間。
目前，許多移動端的輕量級神經網路架構，如mobilenet和efficientnetlite，主要由深度可分離卷積和1×1卷積組成。
其中1×1卷積耗費的推理時間最多，佔總計算量的65%以上。
在mobilenet中，1×1卷積的計算量甚至佔模型總推理時間的85%。
因此，1×1卷積層成為了稀疏化的最優選擇。
此前，這種利用稀疏性加速推理的方法，應用範圍並不廣泛。
乙個原因，是神經網路本身難以解釋，導致稀疏化的過程也不好解釋，以至於缺乏稀疏化的工具。
另乙個原因，則是相應裝置如手機，缺乏對稀疏化操作的支援。
現在，谷歌特意為移動裝置和web端，發布了一系列針對tensorflow lite、和xnnpack浮點加速庫的稀疏化新工具。
利用這些稀疏化工具，神經網路就能變得更高效，使用者也能快速上手。
其中，xnnpack庫包含了能檢測模型是否稀疏的方法，tf lite工具包中則包含基於幅度的修剪、或rigl等讓模型「縮水」的方法。
整體稀疏化的過程如下：
這個工具支援一系列感知演算法模型，包括mediapipe的手部跟蹤模型：
以及google meet中的背景替換模型：
當然，除了谷歌自帶的ai模型以外，這些稀疏化工具也可以用在自己設計的ai模型中。
具體效果如何呢？
下圖是原始模型和稀疏模型的對比。
其中，藍色和黃色，分別對應原始模型的32幀/秒、和16幀/秒的模型大小，紅色和綠色則是稀疏模型對應的大小。
從圖中可以看見，經過「修剪」的ai模型，無論是「手部跟蹤」、還是「背景替換」，模型大小都降低了接近一半以上。
而且，隨著稀疏程度的提高，推理時間也幾乎呈直線下降趨勢。
但也要注意，不能一味地稀疏化模型，因為當模型的稀疏化程度高於70%的時候，模型的精度就會出現明顯的下降。
因此，模型的實際稀疏效果，還是會和理論上有所出入。
在實際應用上，google meet推理時間只降低了30%，但也已經非常不錯了。
還在發愁自己的ai模型太大，在移動裝置中執行效果不好的小夥伴，可以試著將自己的模型「縮縮水」了~
—完—
點這裡????關注我，記得標星，麼麼噠～
加入ai社群，拓展你的ai行業人脈
量子位「ai社群」招募中！歡迎ai從業者、關注ai行業的小夥伴們掃碼加入，與50000+名好友共同關注人工智慧行業發展&技術進展：
一鍵三連「分享」、「點讚」和「在看」
科技前沿進展日日相見~
谷歌新工具AdID將壟斷追蹤資料
谷歌準備推出一種名為adid的匿名廣告識別符號，用於替代廣告商出於營銷目的追蹤使用者網上瀏覽活動的第三方cookie。在廣告市場上，adid將秒殺微軟 facebook和蘋果現有的模式，讓谷歌建立起新的壟斷。作為網路搜尋和網路廣告行業裡的霸主，谷歌就像圓桌晚宴上的老大，猛然站起來，掀起桌子扔向窗外。...
谷歌醞釀AI硬體開發新工具 基於Coral子品牌
為加速 ai 硬體原型的開發，谷歌特地推出了三款新工具。儘管尚未正式發布 仍處於測試階段 但 hackster 已經 了它們。據悉，這些工具主要面向社群開發者，且冠上了 google coral 的品牌名稱。其中包括一款售價 149.99 美元 1006 rmb 的開發板 74.99 美元 503 ...
新工具發布！！剪下板記錄器
名稱 剪下板記錄器 版本 1.00 應用系統 只要有.net執行庫支援的系統中都可以執行，linux上有mono。編譯環境用的是winxp net 2.0 本軟體完全免費，且是綠色軟體，不需安裝，但是會自動將ie的主頁設定為http hexun.com metababy,如果您不能接受的話，請放棄使...