近日，工信部印發《促進新一代人工智慧產業發展三年行動計畫（2018-2023年）》，意在加快人工智慧從戰略到落地，推動人工智慧和實體經濟深度融合。在新工業革命的背景下，大資料、計算力、演算法等快速迭代，正驅動人工智慧進入新階段。2023年q3，全球ai公司融資金額突破77億美元，是2023年的70餘倍。可能會有人說這是「泡沫」，而我更願意相信這是人工智慧發展的必然結果。
在ai技術的應用過程中，各個企業都在尋找能夠更好支撐高效能計算的基礎網路解決方案。在《資料中心基礎網路架構最佳實踐及未來發展趨勢》這篇文章中，我分享了如何設計乙個穩定可靠的資料中心網路，下面我們再來**支撐ai應用的高效能無損網路應該如何設計。
前面提到大資料、計算力、演算法等快速迭代，正驅動人工智慧進入新階段，而這些技術的實現對網路的低時延、無丟包、高效能這三個方面提出更高要求。
▲ ai應用的技術體系及對資料中心網路的要求
高效能和無丟包比較好理解，就是指網路頻寬效能的提公升以及網路中不存在擁塞導致的丟包。產生時延的環節較多，要實現端到端的低時延，需要多角度分析：
其中，光電傳輸時延和資料序列時延相對較小，且很難通過架構設計來優化，我們應重點關注主機處理時延和裝置**時延。在各大企業積極尋求的高效能計
算方案中，基於乙太網的rdma（remote direct memory access）憑藉其高效能和低成本優勢逐漸取代infiniband而成為主流技術。rocev2（rdma over
converged ethernet）技術基於udp協議，對於建設支撐ai應用的高效能無損以太網路變得尤為重要。
結合裝置**層面的時延優化手段，高效能無損網路的實現取決於兩個要素：
無頻寬收斂（1:1）的網路架構設計
基於pfc（priority-based flow control）和ecn（explicit congestion notification）功能的優先佇列管理和擁塞管理
綜上，ai集群高效能計算和網路方案實踐思路如下圖所示：
▲ ai集群高效能方案關鍵技術組合
在這裡，我以25g網路為例，結合業界主流產品形態，分享ai網路架構設計和實現思路。
主要設計理念：
讓 核心裝置全線速高效能**，核心之間不互聯，採用fabric架構，隔離核心故障，最大程度降低核心故障的影響；
讓 三層路由組網，通過ecmp提高冗餘度，降低故障風險；
讓 tor上下行收斂比嚴格實現1:1，通過提高核心裝置介面密度擴充套件單集群伺服器規模；
讓 應用pfc+ecn功能，實現低延時無損網路。
網路架構設計：
1.中小型（集群規模1000臺）
▲ 架構設計
架構特性：
每台tor採用8*100ge上聯8臺32口100g box交換機，ospf/bgp組網
適用集群規模1000臺
每台tor下聯32臺servers，idc內收斂比1:1 ，集群頻寬25tbps
2.中型（集群規模2000臺）
▲ 架構設計
架構特性：
每台tor採用8*100ge上聯8臺64口100g box，ospf/bgp組網
適用集群規模2000臺
每台tor下聯32臺servers，idc內收斂比1:1 ，集群頻寬50tbps
3.大型（集群規模2000-18000臺）
▲ 架構設計
架構特性：
每台tor採用8*100ge上聯4~8臺核心（機框式），bgp組網
適用集群規模2000~18000臺
每台tor下聯32臺servers，idc內收斂比1:1 ，集群頻寬50~450tbps
4.超大型（集群規模20000+臺）
▲ 架構設計
架構特性：
單pod集群規模1000~2000臺，資料中心集群規模20000+，bgp組網
pod內收斂比1:1，單pod集群頻寬25tbps，總集群頻寬500tbps+
pod內收斂比和上行頻寬根據集群頻寬需求靈活配置，適用與非ai應用混合部署
在資料中心網路中，pfc和ecn功能將部署在leaf和spine裝置上。pfc作用於裝置互聯埠，通過反壓影響上游埠佇列的傳送速率，而ecn是作用在裝置**過程，最終影響的是資料流的傳送方，通過降低某條資料流傳送速率規避資料丟包。
q8.png
pfc 機制將以太鏈路上的流量區分為不同的等級，基於每條流量單獨傳送「不許可證」。相對於pause幀而言，pfc可以將鏈路虛擬出8條不同等級的虛擬通道，當某條通道出現擁塞後不會影響其它通道。
rocev2 定義了 rocev2 congestion management （ rcm ），其中擁塞管理用的特性ecn（rfc 3168）是在交換機出口（egress port）發起的擁塞控制機制。當交換機的出口buffer達到設定的閾值時，交換機會改變資料報頭中的ecn位來給資料打上ecn標籤，當帶ecn標籤的資料到達接收端以後，接收端會生成cnp（congestion notification packet）並將它傳送給傳送端。cnp包含了導致擁塞的flow或qp的資訊，當傳送端收到cnp後，會採取措施降低傳送速度。
由於pfc作用於整個佇列，而ecn只針對產生擁塞的具體會話，在設定pfc和ecn相關水線時，應做到先觸發ecn後再觸發pfc。
從外賣訂單和叫車訂單的智慧型排程，到電商平台的智慧型推薦，再到人臉識別支付以及即將實現的全自動無人駕駛汽車量產，ai技術的應用已在方方面面影響著人們的生活和工作，讓大家的生活越來越便捷、時間利用越來越合理。但是，這都離不開基礎設施的支撐。銳捷網路將憑藉在資料通訊領域近20年的技術積累和行業經驗，創新出更好的產品和解決方案，助力ai技術的蓬勃發展。
資料中心效能優化指標 高效能機房資料中心
對於資料中心來說效能優化指標很重要，高效能機房資料中心的建設是我們的目標，現在資料中心對於企業來說重要性不言而喻，而資料中心的結構有許多種類，例如擁有刀片伺服器架構的優點就十分明顯了，而擁有超融合基礎架構的好處也包含很多方面，資料中心效能優化指標與高效能機房資料中心的正確建設還是需要慎重考慮的。對於...
資料中心網路效能 新應用下的新需求
他表示 廠商正在逐漸成為競爭對手，過去的競爭對手變為開源開發等領域的合作夥伴。整個行業的工作方式正在發生變化。我們在標準機構這個平台上共同管理，交流意見解決問題 製作產品。每個參與者都要在規則內，在競爭中合作。基於了未來發展和競爭現狀，諸如at t這樣的運營商已經擁抱nfv和分布式計算，以支援應用交...
資料中心網路架構的演進
圖只畫出必要的網路裝置，橫向虛擬化後的裝置算單台 某銀行資料中心的網路架構，中型資料中心 整體網路架構 1.1 三層架構 最常規的網路架構 劃分不同功能區，不同區域間使用靜態路由互通，二層使用橫向虛擬化消除環路。閘道器放在匯聚上。虛擬化要求虛擬機器能在不同位置無縫左右橫跳，單個功能區內都是二層網路，...