打破NVLink壟斷，華為這個“大殺器”即將開源

今年的Hot Chips 2025廠商依然大秀肌肉，其中最值得關注的，莫過于華為推出的UB-Mesh技術，該技術旨在通過單一協議統一AI數據中心內外部節點的所有互聯，并用單一協議取代PCIe、CXL、NVLink和TCP/IP協議。

華為處理器部門海思半導體首席科學家廖恒表示:“下個月我們將召開一次會議，宣布UB-Mesh協議將像免費許可證一樣向所有人開放。這是一項非常新的技術；我們看到不同陣營正在競相推進標準化工作。根據我們在實際系統部署方面的成功程度以及合作伙伴和客戶的需求，我們可以討論將其轉化為某種標準?！?/p>

隨著UB-Mesh免費開放，NVLink的壟斷地位是否會受到動搖？

華為的UB-Mesh，到底是啥？

事實上，華為的UB-Mesh早在今年三月底就已亮相。當時，華為發布了昇騰CloudMatrix 384超節點，采用UB互聯完成了384顆NPU的互聯。之所以采用UB互聯，是因為諸如LLM訓練等方面，要在NPU之間頻繁交換數據，所以要有強大的NPU間通信能力。

而在本次Hot Chips上，華為透露了更多細節。根據華為的介紹，雖然用于訓練和推理的 AI 數據中心應該像一個大型固有并行處理器一樣運行，但它們由單獨的機架、服務器、CPU、GPU、內存、SSD、NIC 、交換機和其他組件組成，這些組件使用不同的總線和協議相互聯接，如UPI、PCIe、CXL、RoCE、NVLink、UALink、TCP/IP和即將推出的超級以太網。協議轉換需要電力，增加延遲和成本，并引入潛在的故障點，所有這些因素都可以在擁有數百萬個處理器的千兆瓦級數據中心中進行災難性擴展。

但是華為卻不同，華為的思路則是“一統天下”，提出了UB-Mesh的統一框架，使任何端口無需轉換即可與任何其他端口通信。這種簡單性減少了轉換延遲，簡化了設計，并且仍然在需要時留出了通過以太網運行的空間，從本質上將整個數據中心轉換為UB-Mesh 連接的相干超級節點。

華為將這種數據中心規模的AI架構定義為SuperNode，將多達1,000,000個處理器（CPU、GPU、NPU）、池內存、SSD、NIC和交換機統一到一個系統中，并將每芯片帶寬從100 Gbps上升到10 Tbps（1.25 TB/s，超出了PCIe 8.0設置的范圍），時延從微秒減少到~150 ns，整體設計從異步DMA轉向同步加載/存儲語義。允許靈活地重復使用所有高速SERDES連接，甚至支持通過以太網運行以實現向后兼容性。

當然，統一到單一的協議里，談何容易，華為認為這會引發從銅纜（仍連接在機架內）到可插拔光鏈路的轉變，不過光纖的錯誤率遠高于電氣連接。為了解決這個問題，華為提出了鏈路級重試機制、光模塊內的備用通道以及將控制器連接到多個模塊的交叉設計。

從拓撲上來看，UB-Mesh 采用混合網絡拓撲結構。其頂層基于CLOS架構，用于連接整個數據中心大廳中的各個機架；而在每個機架內部，則通過多維網格網絡互聯數十個節點。這種混合設計旨在避免傳統方案在系統規模擴展至數萬甚至數十萬個節點時，所面臨的高昂成本問題。

成本方面，華為提供的數據顯示，傳統互聯架構的成本往往隨節點數量呈線性增長，甚至可能超過人工智能加速器（如NVIDIA H100或B200）本身的價格。而UB-Mesh以亞線性方式擴展成本，實現在增加容量的同時，不會同比增加開支。

為什么都想替代NVLink

英偉達的GPU之所以能夠在數據中賣的那么好，其實不光是因為本身算力強大，更重要的便是其互聯技術——NVLink和NVSwitch。

打個比方說，每個GPU都是單兵作戰，但是用NVLink把GPU和GPU、GPU和CPU連在一起，就能發揮出更大的作用。過去，這種連接都是靠PCIe，就是我們家里主機那種一個一個插槽，而NVLink就是為了突破PCIe瓶頸而誕生的一種技術。

NVLink這種GPU和GPU互聯或者NPU和NPU互聯在業界有一種專業叫法——Scale Up（向上/垂直擴展），與之相對，還有Scale Out（橫向/水平擴展）的概念。

Scale Up互聯可以粗暴理解“芯片之間的互聯”，是做更大芯片擴展的服務器，是內存和顯存共享訪問的語義，特點是極低延遲和大帶寬，規模在柜內，可擴展為多柜到百芯片級，是獨立Fabric連接，完全不同于以太網。Scale Up是超節點內部，采用GPU直出技術。

Scale Out互聯是“服務器之間是基于網卡+交換機的集群互聯”，可以簡單粗暴理解成“卡之間的互聯”，是以太網協議，規模在萬級以上，普適的互聯。它是在計算集群內部，利用外置網卡技術，通過橫向擴展機柜的數目，實現到數萬甚至數十萬張卡的互聯。

所以，NVLink的價值就在這里，傳統PCIe總線在GPU間數據傳輸中已成為性能瓶頸。NVLink提供更高帶寬和更低延遲，極大加速GPU間通信，這樣GPU的性能才不會有任何浪費，尤其適合AI訓練和科學計算。目前，NVLink已經發展到了第五代。

圖源丨鮮棗課堂

當然，這還沒有結束。英偉達還研究出了NVSwitch，它是專為NVLink網絡設計的交換芯片，用于實現多GPU之間的高速互聯。它允許多個GPU通過交換芯片直接通信，克服了早期NVLink只能在有限數量GPU間直連的限制。通過“NVLink + NVSwitch”的組合，實現了單機內多GPU的高效互聯。

圖源丨鮮棗課堂

雖然NVLink是真的強，但封閉是它的“原罪”，在一定程度上制約了技術的持續演進與效能優化潛力，等于是把客戶完全“套牢”了。而且，過于壟斷勢必會降低自己產業鏈的韌性，廠商就會被綁死在英偉達這棵樹上了。

因此，為了對抗擺脫現在這種狀態，行業現在開始通過成立聯盟，制定公開的協議標準，逐漸替代NVLink。

此時，所有人都開放了標準，英偉達說沒壓力是不可能的，所以在今年5月，英偉達宣布開放對NVLink協議和驅動該協議的物理傳輸（PHY）的訪問。這意味著，第三方的CPU和GPU也能上NVLink了。

在生態逐漸發生轉變的過程中，NVLink也在逐漸撕開口子，但競爭者目前正在一個接著一個地走上臺前。

NVLink的挑戰者，走上臺前

挑戰者一：UALink，一群供應商的聯盟。

UALink是走得比較快的一種開放協議，AMD是其中核心的存在。

去年10月28日，AMD、AWS、谷歌和思科等九家巨頭宣布正式成立UALink聯盟（Ultra Accelerator Link Consortium，簡稱UALink聯盟），主推AI服務器Scale UP互連協議——UALink。而今，博通中途退出，開始大力推廣自家的Scale-Up Ethernet（SUE）技術，新增AWS、Astera兩家公司。目前，UALink聯盟已公開邀請新成員加入，國內已有盛科、聯想、瀾起科技、聯動等公司加入成為貢獻者成員。

之所以提到AMD，是因為UALink的技術核心主要來自AMD?？紤]到針對終態進行設計，以及共同對抗行業壟斷的目的，AMD將其迭代多年的Infinity Fabric協議貢獻出來，促成UALink聯盟的成立，希望在更多行業伙伴的助力下，持續發揮原生為GPU互連場景設計的優勢，使其成為行業的開放標準。

今年4月，UA Link 1.0標準正式發布。UALink 1.0規范定義了一種高速、低延遲的互連，支持每通道200 GT/s的最大雙向數據速率，可配置為 x1、x2 或 x4，四通道鏈路在發射和接收方向上都能實現高達800 GT/s。一個 UALink 系統支持多達1024個加速器（GPU、NPU或其他），這些加速器通過UALink交換機連接，每個加速器分配一個端口和一個10位唯一標識符，用于精確路由。UALink電纜長度針對<4米進行了優化，可在64B/640B有效負載下實現<1 μs的往返延遲。這些鏈路支持跨一到四個機架的確定性性能。

UALink協議棧包括四個硬件優化層：物理層、數據鏈路層、事務層和協議層。物理層使用標準以太網組件（例如 200GBASE-KR1/CR1），并包括通過 FEC 減少延遲的修改；數據鏈路層將來自事務層的64字節flit打包為640字節單元，應用CRC和可選的重試邏輯，該層還處理設備間消息傳遞并支持UART風格的固件通信；事務層實現壓縮尋址，簡化數據傳輸，在實際工作負載下協議效率高達 95%，還支持直接內存作，例如加速器之間的讀取、寫入和原子事務，從而保持本地和遠程內存空間之間的順序。

UALink還集成多項數據中心級功能，包括硬件加密（UALinkSec）、多租戶隔離、虛擬化分區，以及通過標準接口（如PCIe和以太網）進行統一管理。

相比封閉的專用方案，UALink 強調開放生態，由多家供應商共同推進設備和交換機的研發，更重要的是，UALink在加速器、交換芯片、Retimer等互連技術上保持中立立場，不偏向特定廠商，目標是建立開放創新的技術生態系統。

UALink預計首款產品將在12~18個月內推向市場。值得注意的是，在UALink 1.0標準誕生之前，新思科技就推出了UALink的IP解決方案。新思的UALink IP 解決方案將提供每通道高達200 Gbps的帶寬和內存共享功能，以擴展（向上）加速器連接。

挑戰者二：華為UB-Mesh，用單一協議解決一切。

剛剛提到的華為UB-Mesh即將在下個月宣布開源。華為的UB在業界一直被很看好。

通過華為此前的論文來看，UB-Mesh架構采用低基數交換機聚合四路接口，以無阻塞的方式管理跨機架連接。通過橫向擴展2D的full mesh結構下的四個機架，形成4D層級互聯。四個機架形成的pod總規模可達1024個NPU。

也就是說，在大規模集群中，UB-Mesh能夠實現1024張NPU的全互聯，這么來看，數量和上面的NVLink 1.0相當。不過，UB-Mesh還可以可通過super pod擴展至8000張NPU，這是一個非常驚人的數字。

不過，把計算、內存和網絡資源進行動態池化與統一在一起訪問，好是好，但是非常以來光技術，這可能引發出更多其他挑戰。更多細節，可能需要華為之后的進一步披露。

挑戰者三：博通的以太網方案SUE。

英偉達有NVLink和開放的NV，AMD走了UALink的路，博通想出了另一條路——以太網，也就是SUE。

博通認為這是對英偉達和AMD的一種還擊，因為以太網的好處就是更開放。

根據博通的說法，SUE架構雖非由第三方組織制定的標準，但由于其基于以太網規范設計，能夠與當前數據中心廣泛采用的以太網交換機芯片生態系統兼容?！拔覀兙帉懥艘幐駮⒐_發布在網絡上，任何人都可以自由采用。市場上以太網交換機芯片供應商眾多，SUE的開放規格可以說是實現了多方共贏。”而且，SUE對所有公司開放使用，無需像NVLink那樣必須獲得英偉達的授權。

今年6月，博通更新Scale Up Ethernet（SUE）規范。SUE在多XPU系統中提供XPU間的通信。每個SUE實例可配置為1、2 或4個端口，實現200G、400G、800G等多種速率，并可在全交換或網狀拓撲中構建大規模XPU集群。

SUE提供了包括類AXI接口、通用命令/響應事務、多流量類別映射、數據包級可靠傳輸、嚴格/無序兩種排序模式及負載均衡等功能，其協議棧支持操作打包、低延遲FEC、鏈路層重試（LLR）及多種流控機制（如PFC和CBFC）。通過采用優化報頭格式（如AFH Gen 1/2）和標準以太網兼容封裝，SUE在提升傳輸效率和降低延遲的同時，保持了與現有以太網生態的兼容性，形成一個開放、可擴展的互聯解決方案。

總之，博通對SUE框架的優化是多維度的。以太網研究本身應用時間也長，繼續沿用以太網無疑是非常具有吸引力的。所以，博通這個最初積極參與了UALink的開發工作的廠商，隨著項目的推進，博通可能是突然發現以太網“尚能飯否”，所以對UALink的態度發生了轉變。

挑戰者四：PCIe說，再給我一次機會。

從NVLink到UALink再到SUE，可以說，PCIe是“萬人嫌”，誰都嫌它不夠快，瓶頸太多。PCIe SIG組織好像也急了，從2022年正式發布PCIe 6.0，到今天，急不可耐地直接啟動了PCIe 8.0規范，把PCIe 8.0提上日程。

根據PCIe SIG的計劃，2028年實現256 GT/s的速率和x16雙向1 TB/s帶寬。

此外，為了確保PCIe 8.0 互連的可靠性、可用的信噪比、一致的性能、可接受的信號損失、信號完整性和電源效率，PCI-SIG 現在正在審查一種新的互連技術，同時保持與上一代 PCIe 實現的向后兼容性。該規范還將引入協議增強功能以優化帶寬使用，以及提高電源效率的方法。

PCIe 8.0強確實是強，但是的確是有點倉促了：目前市場上PCIe 6.0產品仍處于部署初期階段，大多集中在數據中心級別硬件中，PCI-SIG計劃在2025年上半年完成PCIe 7.0規范，并隨后于2028年發布PCIe 8.0規范。按照時間來看，三年翻一倍速度也是PCIe的老傳統了，但是真的要用到產業里，怎么也得2030年了。

不過PCIe本來就很重要，PCIe 8.0肯定是大勢所趨了。

挑戰者五：不同廠商的私有協議。

除了上述的開放協議和PCIe，一些廠商還在使用自己的私有協議。

AWS自己的AI芯片用自己的私有協議NeuronLink實現橫向擴展，通過增加交換托盤提升整體互連能力。該方案的底層基于PCIe Gen協議構建，例如NeuronLink V3版本使用PCIe Gen5.0作為物理層，每個通道單向傳輸速率可達32Gbit/s， 并通過多通道聚合實現高帶寬通信。在具體部署中，亞馬遜的Trn2-Ultra64超級服務器在機柜間采用AEC（有源光纜）進行連接，機柜內部則使用DAC（直接連接銅纜）。

谷歌方面，自己的TPU才采用自己的私有互連協議ICI，該協議具備高度可編程性，使軟件能夠靈活適應運行時的復雜需求，在機柜內部，組件之間通過DAC（直連銅纜）進行連接；而在機柜之間，則采用OCS（光電路交換機）實現高速光交換。

TPU v4的互聯拓撲采用三維環面（3D Torus）結構，以4×4×4的方式將芯片組織成立方體形態。每個機架部署64顆TPU v4芯片和16臺CPU主機，機柜內不同托盤間的TPU通過DAC互聯。在此基礎上，Google使用OCS光交換技術將64個這樣的立方體連接在一起，最終構建出包含4096個TPU的TPU v4超級計算機系統。

戰爭的號角打響了

從UALink到博通的以太網的SUE到PCIe 8.0再到華為UB-Mesh，NVLink的競爭者越來越多，一個更為開放的生態正在建立。而對英偉達來說，這或許也不是什么壞消息，畢竟這種開放的生態英偉達也可以加入，而且英偉達本身也希望開放生態。只不過，可能以后就不會像私有協議那樣具備壟斷性了。

而對于國內的GPU和NPU的玩家來說，華為的UB-Mesh以及UB-Switch或許是另一種可行之路。

參考文獻

[1]Tom's Hardware：https://www.tomshardware.com/tech-industry/artificial-intelligence/huawei-to-open-source-its-ub-mesh-data-center-scale-interconnect-soon-details-technical-aspects-one-interconnect-to-rule-them-all-is-designed-to-replace-everything-from-pcie-to-tcp-ip

[2]Tom's Hardware：https://www.tomshardware.com/tech-industry/ualink-has-nvidias-nvlink-in-the-crosshairs-final-specs-support-up-to-1-024-gpus-with-200-gt-s-bandwidth

[3]親愛的數據：https://mp.weixin.qq.com/s/gaQFoYZvoIb9PReuN2gH3w

[4]鮮棗課堂：https://mp.weixin.qq.com/s/gkm23FxWCTR4UFZYJ3onEw

[5]SDNLAB：https://mp.weixin.qq.com/s/FqdyqbnvAu5QWXfKIVOMEQ

[6]Saniffer：https://mp.weixin.qq.com/s/CHDE29zbphqccLFeF8BEeA

[7]傅里葉的貓：https://mp.weixin.qq.com/s/ShLeHFWdtIv_L718JNsTIA

歡迎將我們設為“星標”，這樣才能第一時間收到推送消息。

關注EEWorld旗下訂閱號：“汽車開發圈”

回復“DS”領取《DeepSeek:從入門到精通》完整版資料

掃碼添加小助手回復“進群”

和電子工程師們面對面交流經驗