整理ai效能指標
sorting out ai performance metrics
推理效能的最佳衡量標準是什麼？
在人工智慧加速器的世界裡，對於給定的演算法，晶元的效能經常以每秒萬億次的運算量（tops）來表示。但有許多原因說明，這可能不是最好的資料。
「客戶真正想要的是每美元的高吞吐量，」人工智慧加速器公司flexlogix的首席執行官geofftate說。
tate解釋說，擁有更多的tops並不一定與更高的吞吐量相關。在batch size批量大小為1的邊緣應用程式中尤其如此。資料中心之類的應用程式可以通過使用較大的批處理並行處理多個輸入來提高其吞吐量（因為有備用的頂部），但這通常不適合邊緣裝置。
例如，tate將flex logix』 inferx x1裝置與市場領先的gpu裝置進行了比較。雖然gpu提供了3到4倍的吞吐量，最高10倍，但使用的dram數量是8倍。tate認為這使得flexlogix的架構更具資源效率。
tate提出的每美元吞吐量指標聽起來很合理，但實際上，要找到可靠的產品成本資訊來進行直接比較並不容易。諸如需要多少dram，或者某個晶元有多少矽面積等因素可以作為成本的指標，可惜不是精確的。
flex logix的inferex x1裝置將於2023年年底前投產。將提供大約8.5個top。
resnet-50公司
tops作為度量標準的另乙個問題是，通常在執行resnet-50時進行度量。
tate說：「resnet-50不是客戶關心的基準，但是人報告最多的乙個。「不太相關的原因是使用了非常小的影象。」
如今，resnet-50在很大程度上被視為過時，已經存在了一段時間，已經成為引用頂級資料的事實標準。有充分的理由繼續使用作為乙個標準；其中包括努力保持所有分數至少在一定程度上具有可比性，以及使這一事實上的標準對所有型別的裝置（即使是很小的裝置）都可用。然而，不足以真正挑戰當今為資料中心推理而構建的巨大晶元，也不足以炫耀能力。
行業基準
除了事實上的標準，當然還有各種各樣的組織在為人工智慧加速器開發基準（參見：mlperf、dawnbench、eembc等）。
雖然mlperf已經發布了推斷結果，但tate認為這個基準過於面向資料中心。在這個場景中，認為在第90個時間段，乙個裝置的延遲是乙個效能指標。
「在邊緣，我認為顧客不想知道第90個百分位，想知道第100個百分位。想知道：能保證我什麼？tate說，將自動駕駛作為一種邊緣應用，在這種應用中延遲非常關鍵。
在更複雜的影象處理任務（如目標檢測）上的效能更適合於比較當今高階的人工智慧加速器
當資訊在多個處理器核心和記憶體之間傳輸時，長尾延遲對於那些遭受匯流排爭用的系統來說是乙個典型的問題。雖然現在的許多裝置使用高頻寬記憶體介面，但在可能發生爭用的情況下，理論上仍然存在延遲。
flexlogix基於fpga的推理處理器設計每次都有完全相同的延遲（groq也聲稱這一點，儘管堅稱自己的裝置不是fpga）。
「由於我使用的是我的共同創始人在核心發明的fpga互連，因此從記憶體到乘法累加器，到啟用邏輯，再到記憶體，都有一條完全專用的路徑。所以沒有爭議：事情就是這樣。tate說：「我的利用率不是百分之百，但我的利用率比其所有體系結構都要高得多。」。
市場對於這一領域晶元初創公司數量的激增，泰特對flexlogix的前景持樂觀態度。
「當晶元投入使用，軟體執行，展示演示，當看到**和力量……很快，那些不在上四分之一的公司就會消失。」。
泰特的**是，根據不同的細分市場（訓練、推理、資料中心、edge、超低功耗等），這一領域可以支援10或15種晶元產品。今天提供的產品在計算能力方面跨越了多個數量級，因此並不都是直接相互競爭的。
泰特提到沃倫•巴菲特的名言：「在未來的一兩年裡，將有一場大規模的牛群淘汰，當潮水退去時，可以看到誰在裸泳。」
架構效能指標
1 mysql 乙個資料表的資料過多，對更新和查詢效能都有影響。對於不再使用的資料要及時備份清走。一般資料庫的容量剩餘不到60 就要考慮分庫分表了。一般一台物理機寫入能力也不能高於qps1500。所以對於主從延時不是很敏感的業務場景，一定要做好讀寫分離。雖然做了讀寫分離，如果讀和寫的 在乙個事務裡，...
1 效能指標
速率 定義 速率即資料率或稱資料傳輸率或位元率，是表示連線在計算機網路上的主機在數字通道上傳輸資料位數的速率 就是一秒能夠傳輸多少位元 0或1 頻寬定義 計算機網路中，頻寬用來表示通訊線路傳送資料的能力，通常是指單位時間內從網路的某一點到另一點所能通過的 最高資料率 單位是 位元每秒即b s kb ...
mysql 效能指標
qps每秒處理的查詢數 tps每秒處理的事務數 iops每秒磁碟進行的i o操作次數 一 tps transactions per second 每秒傳輸的事物處理個數 即伺服器每秒處理的事務數。tps包括一條訊息入和一條訊息出，加上一次使用者資料庫訪問。業務tps caps 每個呼叫平均tps t...