筆記 兩大路徑解決AI晶元瓶頸 儲存

2021-08-22 03:22:47 字數 472 閱讀 5190

目前終端ai晶元的效能瓶頸不在於算力,而在於儲存——儲存問題分為兩個部分:頻寬、功耗。一旦沒有進行儲存優化,那麼晶元實際能夠提供的計算力其實會大大低於理論值。

晶元儲存優化的路徑有兩種:一是壓縮神經網路大小、降低精度、減少資料量;二是設計更合理的資料流,減少資料資源在介面中來回往返的次數。

神經網路的壓縮與簡化則是乙個學術界與工程界都在研究討論的重要問題,目前的深度神經網路普遍較大,無論是在雲端還是在終端,都會影響網路速度,增大功耗。

▲神經網路剪枝

這一領域現在較火的兩大研究方向分別為是降低計算精度(比如從32位元到8位元)、以及剪枝(purne)先構造好整個演算法網路,然後再嘗試消除多餘的節點,壓縮網路大小。

▲設計更合理的資料流

優化設計資料流這方面,則是探境科技的優勢所在。如果將多次被重複使用的資料放在離計算資源較近的地方,則可以大大講少資料來回「搬運」的次數,把晶元的效能跟功耗降到最低。

2018.08.02

Ubuntu 開機黑屏兩大原因解決辦法

在卡機的時候在選擇ubuntu開機的時候按 e 進入啟動檔案的 edit 模式 修改 ro 為 rw 代表 read write 將 quiet splash 後面新增 nomodeset ctrl x 或者 f10 重啟 開機後開啟命令列輸入以下命令,更新啟動項,這樣下次開機就正常了.sudo u...

二叉樹兩個節點的最大路徑

參考部落格 傳送門 問題 如何求二叉樹兩個節點的最大路徑 思路 分為兩種情況 1 路徑經過根節點 2 路徑不經過根節點,是其左右子樹的最大路徑 比較這兩種情況,去較大的即為最後結果 1 include 2 3using namespace std 45 struct node 9struct res...

WPF學習筆記之 WPF概述篇(兩大亮點)

wpf的兩大亮點 一 硬體加速 wpf 圖形顯示是基於directx 最初是為遊戲顯示開發的圖形顯示引擎 而非gdi gdi wpf的目標是將盡可能多的工作交給顯示卡處理,所以複雜圖形通常屬於渲染範圍 由gpu處理 而不屬於處理器範圍 由計算機的cpu處理 也就是說,可以讓cpu空閒下來去完成其他工...