ai的發展正在從雲端走向終端，未來無論是智慧型手機、汽車、無人機、機械人都將增加更多的ai功能。市場的需求吸引了越來越多ai晶元公司的加入，在終端ai晶元公司不斷推出更高算力晶元的時候，可以發現他們的硬體各有長處但很相似，這是否意味著軟體才是終端ai晶元獲勝的關鍵？
根據j.p. morgan的**，2023年到2023年，全球半導體市場的復合年均增長率（cagr）將為5-6%，而同期ai半導體市場的復合年均增長率將高達59%。這其中的增長應該很大一部分源於終端裝置，包括手機、自動駕駛汽車、無人機、機械人等智慧型裝置對低延遲、低功耗、低成本、高可靠性、高安全性人工智慧的需求。因此，來自視覺、語音等應用促使等越來越多的公司開始設計通用的ai晶元，並進一步促使半導體ip提供商推出ai處理器ip。
當然，為了滿足不用裝置對ai效能的需求，neupro系列處理器可以提供2tops到12.5tops的效能，具體分為四款ai處理器，包含512個mac單元的np500面向物聯網、可穿戴裝置和相機；包含1024個mac單元的np1000面向中檔智慧型手機、adas、工業應用和ar / vr頭戴裝置；包含2048個mac單元的np2000瞄準高階智慧型手機、監控、機械人和無人機；包含4096個mac單元的np4000用於企業監控和自動駕駛的高效能邊緣處理。
雷鋒網了解到，neupro支援cnn、rnn、dnn、xnn，多網路和模型的支援不僅會增大處理器的面積，功耗也會相應的增加。為了降低功耗，ceva營銷副總裁moshe sheier表示：「資料的載入和儲存在ai處理器中能量的消耗會佔比較大的比重，因此neupro會把連續的卷積層進行壓縮和處理，將32位浮點量化到16位、8位甚至更低的位數，減少資料的載入和儲存。另外，neupro engine和vpu單元之間的資料交換也可以通過直連通道，不需要通過soc匯流排做交換，大大減少中間資料的載入。」
moshe sheier同時表示，ai還處於乙個早期的階段，現在的情況是各家的ai處理器ip在soc中所佔的面積都不小，未來將不斷的演進，十年後回過頭看肯定會覺得現在的ai處理器很龐大。在ai處理器的設計上，雖然每家的產品會各有特色，但又很相似，因為大家都在堆mac單元，用更多的mac單元實現更高的硬體指標，但在同樣的工藝下，面積和功耗都很接近。這時我們還需要思考，mac單元的成本、利用率以及最終的功耗和面積。因此，如何延長產品的週期更好地適應oem廠商不斷變化的需求非常關鍵，這時軟體的作用尤為明顯。
軟體才是ai處理器成功的關鍵？
據介紹，與neupro系列處理器配合的是cdnn神經網路軟體框架，它的主要作用是把使用者使用不同框架訓練好的神經網路進行量化、壓縮等處理，然後自動地部署到底層的硬體。moshe sheier強調，cdnn所能實現的自動化是基於ceva對應用和協議的深入了解和分析，加上長期的積累判斷哪些工作適合什麼樣的硬體，另外，ceva不同的硬體平台軟體使用的都是同一套框架。
還需指出的是，硬體和軟體的發展是相互影響。moshe sheier舉例說：「如果用今年的ai演算法和2023年的ai演算法比較，會發現今年的ai的演算法精度可能比2023年略微的提公升，但它的網路的大小和頻寬有大幅度下降。因此在硬體功耗和面積達到極限的情況下，演算法只有進一步做簡化才能向前發展，這也有助於功耗的降低。」
雷鋒網小結
終端產品的ai需求促使不少公司進入ai領域，而ai晶元公司的需求又推動半導體ip公司推出ai處理器ip。可以看到，在演算法和模型還不夠穩定的時候，提供通用ip和平台的公司並沒有著急推出產品，而是等待演算法和模型穩定之後選擇合適的時機和領域進入市場。
異構架構是ai晶元更好的選擇，終端ai晶元相似的的地方在於增加mac單元提公升效能，同時為降低功耗也為減少資料的載入和儲存使用了專門的技術。更為關鍵的是，為保持對未來演算法和模型的適應性，除了整合具有可程式設計效能的硬體，軟體更高的可配置性成為ai處理器中保持競爭力，延長產品週期非常關鍵的部分。
英特爾旗下AI晶元公司被勒索軟體竊取53GB資料
程式設計客棧 www.cppcns.com 12月15日 訊息 美國當地時間週日，勒索軟體pay2key公布了從哈巴納實驗室 habana labs 獲得的內部檔案細節，據稱共洩露了53gb資料。據悉，哈巴納實驗室是一家總部位於以色列的晶元初創企業，去年12月份，英特爾以約20億美元收購了這家公司，...
探境科技如何設計一款適用於終端的AI晶元？
ai演算法在晶元實現時遇到的核心問題不是計算資源而是儲存問題，強如gpu提供眾多的計算資源，而實際計算能力與計算資源大為降低。概括來說，儲存問題分為兩個部分，乙個是頻寬問題，乙個是功耗問題，這兩個問題的解決其實也是耦合在一起的。具體來說，深度學習演算法使用大量儲存資源，即包括靜態模型引數，也包括網路...
乙個 開源 AI（包括軟體硬體資源） 位址
開源 ai 包括軟體硬體 資源 位址 depthai hardware 文件 中文文件 摘要 還有乙個odroid 是三星soc 產品oak 位元大陸bm1880 tb rk3399pro jetson nano koi k210系列 openmv系列 樹莓派4b 效能4.0tops int8 fp...