![]()
撰文 | 李信馬
題圖 | IC Photo
AI 像火焰,正在吞噬世界,而算力構(gòu)成了“柴薪”。在國與國之間的人工智能競爭日益激烈的當(dāng)下,算力成為國力的重要體現(xiàn)。
圍繞著這個話題,不久前,華為在北京組織了2026新春媒體沙龍。目前,計算產(chǎn)業(yè)已經(jīng)成為華為公司最重要的業(yè)務(wù)主航道之一,華為計算產(chǎn)品線營銷運作部部長張愛軍表示,希望未來為中國構(gòu)建一個堅實的算力底座,“為世界提供一個新的選擇”。
“超節(jié)點”成為他演講的關(guān)鍵詞。
01.什么是超節(jié)點?
超節(jié)點在行業(yè)內(nèi)還是一個新生事物,行業(yè)內(nèi)對超節(jié)點還未形成標(biāo)準(zhǔn)定義,張愛軍表示,華為希望在行業(yè)界形成共識,定義什么樣的設(shè)備是超節(jié)點。
目前業(yè)界有些看法,認為超節(jié)點類似“大型機”,或者連接的計算卡足夠多,就是超節(jié)點了。張愛軍認為這些看法是對超節(jié)點的誤解,從華為的角度來說,“超節(jié)點”是計算節(jié)點通過高速互聯(lián)協(xié)議組成更大內(nèi)存空間的計算系統(tǒng),能夠提供大帶寬、低時延的互聯(lián)能力。
![]()
傳統(tǒng)計算架構(gòu)中,卡間互聯(lián)依賴PCIe或以太網(wǎng),跨服務(wù)器互聯(lián)帶寬多為200-400Gb/s且時延達數(shù)十微秒,在千億參數(shù)模型訓(xùn)練的并行計算場景中,頻繁的GB級數(shù)據(jù)通信阻塞,導(dǎo)致計算等待通信,成為性能瓶頸。
比如下圖中,CPU-AI處理器之間通過PCIe互聯(lián),AI處理器之間通過RoCE互聯(lián),單跳通信時延只能做到微秒級,RTT通信時延會更高,高達幾十微秒;假如要從32卡升級到64卡規(guī)模,需要增加二層交換,組網(wǎng)復(fù)雜;而且不支持內(nèi)存統(tǒng)一編址,無法做到全局的內(nèi)存池化以及AI處理器之間的內(nèi)存語義訪問,所有訪存都需要通過消息語義通信,優(yōu)化存在瓶頸。
![]()
而超節(jié)點借助高效的互聯(lián)協(xié)議打破傳統(tǒng)架構(gòu)限制,能做到大帶寬、低時延、內(nèi)存統(tǒng)一編址,支持更大規(guī)模AI處理器的高效協(xié)同,實現(xiàn)更大范圍、更高流量的數(shù)據(jù)傳輸,從而突破系統(tǒng)性能瓶頸。
張愛軍做了個比喻:“有足夠大的帶寬,就像中國的經(jīng)濟為什么能夠騰飛,基礎(chǔ)設(shè)施包括高速公路、高速鐵路功不可沒,一個好的超節(jié)點一定要有足夠大的帶寬;高速公路路修得寬,還不能堵車,要有足夠低的時延,長安街也很寬,但是經(jīng)不起天天堵,時延不足夠好很難構(gòu)建起來效率;能不能形成有效的邏輯上的單一系統(tǒng),關(guān)鍵是內(nèi)存能不能真正統(tǒng)一編址,有統(tǒng)一內(nèi)存編址的技術(shù)才能真正稱得上超節(jié)點。”
![]()
以昇騰384超節(jié)點為例,相較于傳統(tǒng)服務(wù)器架構(gòu),通信帶寬提升15倍、RTT通信時延從7微秒做到3微秒,降低了50%以上。
現(xiàn)實情況中,還需要具備散熱技術(shù)、模塊化架構(gòu)、冗余能力、連接技術(shù)、供電能力等工程能力,以及大規(guī)模、高可靠、靈活切分等系統(tǒng)能力,才是真正可商用的超節(jié)點。
02.為什么需要超節(jié)點?
超節(jié)點的出現(xiàn),是AI發(fā)展的必然產(chǎn)物。
張愛軍在演講中提出了三個趨勢觀察:
首先,模型的規(guī)模正變得越來越大。人工智能的核心在于壓縮與泛化,壓縮是通過計算將物理世界的多元信息映射為函數(shù)表達,這一過程需消耗大量算力,隨著大模型從單模態(tài)轉(zhuǎn)向多模態(tài),其對算力的需求會進一步上升。
其次,輸入長度顯著增加,模型上下文長度,將從K級邁入兆級。進入多模態(tài)時代,輸入從文字到加入視頻和圖片,導(dǎo)致序列長度大幅提升,在計算過程中更長的輸入意味著更長的矩陣維度,進而推高計算量。
第三,在數(shù)據(jù)層面,泛化能力決定了智能上限,而提升泛化離不開更多數(shù)據(jù),利用人工智能生成合成數(shù)據(jù)以持續(xù)擴展訓(xùn)練資源已成為趨勢,訓(xùn)練數(shù)據(jù)規(guī)模也從10TB級升級為100TB 級。
“所有的一切都決定了未來對算力的需求會指數(shù)性增長,,今天算力的需求遠遠未被滿足,無論是在行業(yè)里進入到生產(chǎn)系統(tǒng)的過程當(dāng)中,還是在ToC的消費端,我們看到token消耗的數(shù)量不是倍增,而是指數(shù)級增長。去年國家數(shù)據(jù)局發(fā)布的數(shù)據(jù),2024年初,我國每天消耗的AI相關(guān)“Token”(可理解為AI處理的基礎(chǔ)數(shù)據(jù)單元)只有1千億;可到了2025年6月底,這個數(shù)字已經(jīng)突破30萬億,短短1年半時間就漲了300多倍。”張愛軍說道。
但當(dāng)我們將視線移向算力的供給端,隨著半導(dǎo)體制造技術(shù)接近觸及物理極限,摩爾定律正在失效,導(dǎo)致單一芯片的提升難以滿足人類對算力的需求。這種情況下,多芯片互聯(lián)的大規(guī)模計算節(jié)點就成為解決問題的關(guān)鍵。
這就回到了上文中提到的問題,傳統(tǒng)集群通過“服務(wù)器堆疊和以太網(wǎng)聯(lián)接”的模式提升算力規(guī)模,服務(wù)器之間帶寬不足、時延大,集群規(guī)模越大,算力利用率反而越低。Meta公布的Llama 3.1論文顯示,在1.6萬卡H100集群上訓(xùn)練時,算力利用率低。同時,集群規(guī)模擴張還帶來了可靠性問題,在54天的訓(xùn)練過程中,整個集群累計中斷419次,平均每天中斷8次,也就是說每3小時就會出現(xiàn)一次故障。
此外,在推理端,對低時延的要求日益嚴苛。比如金融風(fēng)控場景時延要求小于20毫秒,反欺詐的時延更是要在10毫秒以下。而Agentic AI需要更多任務(wù)協(xié)同和多輪次推理迭代,傳統(tǒng)的計算架構(gòu)也難以滿足低時延要求。
因此,超節(jié)點應(yīng)運而生,通過新的互聯(lián)協(xié)議及架構(gòu)突破服務(wù)器擴展的硬件限制,來增強算力的供給。經(jīng)華為驗證,在DeepSeek、Qwen等多模態(tài)、MoE模型上,超節(jié)點相較于傳統(tǒng)集群可以達到3倍以上訓(xùn)練性能的提升,同時在強化學(xué)習(xí)場景下,可以將訓(xùn)推權(quán)重的傳輸從小時級降到60s。
03.華為的算力攻堅
2019年,華為進入計算產(chǎn)業(yè),當(dāng)時提出了“硬件開放、軟件開源、使能伙伴、發(fā)展人才”的十六字方針。時隔六年,鯤鵬的注冊開發(fā)者數(shù)達到了約380萬,昇騰約有400萬,同時,華為還和約9800家ISV伙伴打造了超過2萬個解決方案,這些解決方案廣泛應(yīng)用在金融、運營商、能源、制造等領(lǐng)域。
![]()
但比起數(shù)量的增長,真正的攻堅源于底層技術(shù)的突破,以及新技術(shù)的成功商業(yè)化,超節(jié)點就是這樣的一個案例。
采訪中,張愛軍提到了一個細節(jié),光模塊是比較“嬌嫩”的系統(tǒng),灰塵、溫度變化都會導(dǎo)致系統(tǒng)的閃斷和不穩(wěn)定,而華為昇騰384的超節(jié)點光模塊有將近幾千顆,通過模塊化的設(shè)計和冗余技術(shù)等,實現(xiàn)了規(guī)模化的商用。
據(jù)了解,自去年正式上市以來,昇騰超節(jié)點已經(jīng)規(guī)模部署了數(shù)百套,廣泛應(yīng)用在互聯(lián)網(wǎng)、金融、能源、制造等各行各業(yè)中。
過去一年,華為還在業(yè)界首創(chuàng)了將超節(jié)點技術(shù)引入到通用計算中,是全球第一家發(fā)布了通算超節(jié)點的廠商。華為還將構(gòu)建超節(jié)點的靈衢協(xié)議完全開放,以推動在中國形成完整的產(chǎn)業(yè)鏈模式。
當(dāng)天受邀參加活動的工業(yè)和信息化部新聞宣傳中心(人民郵電報社)總編輯王保平在會議開始時講道:“算力作為數(shù)字經(jīng)濟的核心生產(chǎn)力,已經(jīng)成為像水電一樣的基礎(chǔ)資源。當(dāng)前算力需求從通用計算向智能計算延伸,從中心向邊緣擴展,這既需要芯片、服務(wù)器、數(shù)據(jù)中心等硬件領(lǐng)域的持續(xù)突破,也需要架構(gòu)軟件、調(diào)度平臺等系統(tǒng)層面的協(xié)同創(chuàng)新。”
而華為,在這個歷史進程中,做出了重要的推動。
面向未來,張愛軍表示,就像在移動互聯(lián)網(wǎng)時代,華為給世界提供了領(lǐng)先的5G產(chǎn)品,面向未來AI時代,華為將通過“集群+超節(jié)點”的創(chuàng)新,為中國包括全世界提供算力新選擇。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.