![]()
DeepSeek、通義千問、Kimi-K2等深度思考的大模型,大家應(yīng)該都用過。用戶對(duì)AI越來越上頭,企業(yè)IT對(duì)算力保障的焦慮也在加劇。過去跑個(gè)小模型,8張GPU的服務(wù)器還能應(yīng)付,可帶不動(dòng)DeepSeek這種上百個(gè)專家、毫秒級(jí)響應(yīng)的MoE架構(gòu)推理模型。
超節(jié)點(diǎn),就是在這一背景下,火起來的。
傳統(tǒng)單臺(tái)8卡服務(wù)器,無法滿足當(dāng)下大模型訓(xùn)推的算力需求。由英偉達(dá)率先提出的超節(jié)點(diǎn)技術(shù),通過內(nèi)部高速互聯(lián),把數(shù)十甚至上百個(gè)AI計(jì)算芯片,集中整合到一個(gè)架構(gòu)內(nèi),打造出基于Scale-up的新型架構(gòu),以此實(shí)現(xiàn)算力的量級(jí)躍升。核心優(yōu)勢(shì)可以用一個(gè)字概括:省。
![]()
省錢,超節(jié)點(diǎn)通過內(nèi)部高速互聯(lián),每張卡都能滿負(fù)荷運(yùn)行,避免傳統(tǒng)多機(jī)柜間的算力閑置空轉(zhuǎn),GPU卡和電費(fèi)就不會(huì)浪費(fèi)了;
省地,以前跑大模型得把多個(gè)機(jī)柜拼起來,占滿半個(gè)機(jī)房,現(xiàn)在一臺(tái)超節(jié)點(diǎn)就能扛起AI訓(xùn)推任務(wù),物理空間占用更小了;
省事,超節(jié)點(diǎn)把硬件、互聯(lián)、管理系統(tǒng)全集成好了,企業(yè)接入就能跑大模型,AI部署更快,而傳統(tǒng)多臺(tái)服務(wù)器要單獨(dú)調(diào)試、搭建網(wǎng)絡(luò)、解決散熱,一套流程下來,沒半年搞不定……
有不少CIO或IT從業(yè)者十分困惑,超節(jié)點(diǎn)能幫我們用AI更省,可怎么還是買不著、用不起呢?有一種“出發(fā)點(diǎn)很好,但就是出發(fā)不了”的無力感。
![]()
的確,目前真正用得上、用得起超節(jié)點(diǎn)的行業(yè)和企業(yè),并不是很多。
原因比較復(fù)雜,比如高端N卡斷供,國(guó)產(chǎn)GPU規(guī)模出貨量受限等。其中,有一個(gè)因素容易被忽視,那就是超節(jié)點(diǎn)讓AI更省的核心邏輯,似乎正在跑偏。
在超節(jié)點(diǎn)的新聞里,常能看到千卡、單柜X百卡等參數(shù)互相碾壓,媒體追捧超節(jié)點(diǎn)的新紀(jì)錄,圍觀群眾也默認(rèn),規(guī)模越大卡越多的超節(jié)點(diǎn)就越先進(jìn)。
但對(duì)大多數(shù)企業(yè)來說,真的需要這么大的算力巨獸嗎?斥巨資買回?cái)?shù)百卡的超節(jié)點(diǎn),能靠AI賺回本嗎?這些問題,已經(jīng)到了必須回答的時(shí)刻。
![]()
不可否認(rèn),數(shù)百卡,甚至上千卡的超節(jié)點(diǎn),是國(guó)產(chǎn)智算技術(shù)進(jìn)步的證明。但大家有沒有想過,我們給手機(jī)充電,會(huì)關(guān)心發(fā)電廠的規(guī)模有多大,是核電廠還是水電廠嗎?只會(huì)在乎插上有沒有電,電壓是否適配,電流是否穩(wěn)定,會(huì)不會(huì)把手機(jī)燒壞,這些實(shí)用層面的問題。
同樣的道理,企業(yè)部署超節(jié)點(diǎn),除了集成多少卡,也要考慮到實(shí)際應(yīng)用中的隱性成本:
一是故障率升高帶來的中斷損失。
超節(jié)點(diǎn)規(guī)模越大,內(nèi)部光模塊、交換機(jī)、電源節(jié)點(diǎn)就越多,比如某300多卡的超節(jié)點(diǎn)架構(gòu),就涉及近6900個(gè)光模塊和100臺(tái)左右交換機(jī)。而在高密度部署場(chǎng)景中,任一環(huán)節(jié)故障,都可能導(dǎo)致整個(gè)訓(xùn)練任務(wù)中斷。對(duì)AI大模型訓(xùn)練來說,故障意味著要從checkpoint檢查點(diǎn)重新加載模型、重啟訓(xùn)練,浪費(fèi)數(shù)天時(shí)間和高額電費(fèi)。
對(duì)企業(yè)來說,不中斷、不重訓(xùn),比多幾張卡更加重要。
![]()
二是GPU閑置導(dǎo)致的每Token成本過高。
業(yè)內(nèi)已有共識(shí),超節(jié)點(diǎn)規(guī)模存在“甜點(diǎn)”,超過甜點(diǎn)后,繼續(xù)增加超節(jié)點(diǎn)規(guī)模,性能提升有限但成本顯著上升。有模擬數(shù)據(jù)顯示,十萬億參數(shù)模型,甜點(diǎn)大概在32-64卡。也就是說,盲目追求上百張卡的超大規(guī)模,算力利用率也許并不高,GPU大部分時(shí)間是在閑置。比如說,DeepSeek官方論文給的參考方案,Decode階段需用144張H800,如果超節(jié)點(diǎn)使用的國(guó)產(chǎn)卡算力是H800的1/3,那么在PD分離場(chǎng)景下,48卡甚至32卡才是更優(yōu)選擇。
三是運(yùn)維復(fù)雜度提升導(dǎo)致的總體TCO成本增加。
高集成度的超節(jié)點(diǎn)產(chǎn)品,對(duì)運(yùn)維團(tuán)隊(duì)的專業(yè)能力要求極高,一旦規(guī)模增大,內(nèi)部故障點(diǎn)也會(huì)隨之增多,小團(tuán)隊(duì)很難靠自己處理。比如英偉達(dá)早期就曾嘗試過二層架構(gòu)超節(jié)點(diǎn),將交換機(jī)集成到單機(jī)內(nèi)以擴(kuò)大規(guī)模,但企業(yè)客戶更傾向于選擇單層架構(gòu),核心就是為了降低故障點(diǎn)、減少運(yùn)維難度。英偉達(dá)256卡超節(jié)點(diǎn)也由于TCO總擁有成本太高,而互聯(lián)網(wǎng)企業(yè)客戶對(duì)TCO很重視,未能成功商業(yè)化。
所以,超節(jié)點(diǎn)并不是規(guī)模越大卡越多就越好。企業(yè)需要的是能解決算力問題,且ROI投資回報(bào)率最優(yōu)的IT基礎(chǔ)設(shè)施。超節(jié)點(diǎn)技術(shù)的發(fā)展,要回歸讓企業(yè)用AI更省的出發(fā)點(diǎn),與企業(yè)AI業(yè)務(wù)相適配的方案才是最優(yōu)解。
![]()
既然堆卡不是出路,那么如何才能讓超節(jié)點(diǎn)真正成為企業(yè)的省錢利器?產(chǎn)業(yè)界已經(jīng)給出了答案:回歸理性,追求規(guī)模與需求的適配,并通過開放生態(tài)降低綜合成本。
一方面,越來越多的廠商將目光投向32卡、64卡這樣的更合身的規(guī)模。
如前所說,超過性能-成本甜點(diǎn)區(qū)之后,超節(jié)點(diǎn)的邊際效益就會(huì)遞減。因此,大量國(guó)產(chǎn)廠商聚焦在32-64卡的實(shí)用化設(shè)計(jì),推出貼合企業(yè)需求的產(chǎn)品。比如新華三UniPoD S80000,實(shí)現(xiàn)了單機(jī)柜32/64卡高密部署等,讓多數(shù)企業(yè)能夠負(fù)擔(dān)得起大模型訓(xùn)推開銷。而且,新華三UniPoD S80000采用單層全互聯(lián)架構(gòu),大幅降低了通信延遲和故障點(diǎn),在MoE等主流模型場(chǎng)景下,更有助于保障業(yè)務(wù)連續(xù)性。剛好的規(guī)模與更高的可靠性,成為AI算力降本增效的關(guān)鍵。
![]()
(新華三超節(jié)點(diǎn)H3C UniPoD S80000)
另一方面,開放的硬件生態(tài)正在成為降低成本的新引擎。
隨著國(guó)產(chǎn)芯片生態(tài)成熟,開放式架構(gòu)支持多品牌國(guó)產(chǎn)加速卡,打破海外高端卡壟斷,為用戶提供了更多選擇,從而降低企業(yè)的算力成本。這類開放式超節(jié)點(diǎn),也成為算力普惠的關(guān)鍵。比如新華三超節(jié)點(diǎn)支持多品牌國(guó)產(chǎn)加速卡,兼容CUDA等主流軟件生態(tài),降低企業(yè)的供應(yīng)鏈成本。
上述實(shí)踐,有望助力超節(jié)點(diǎn)的普及,從頭部企業(yè)的專屬品,成為千行百業(yè)的普惠基礎(chǔ)設(shè)施。
![]()
需要說明的是,數(shù)百卡、千卡超節(jié)點(diǎn)的研發(fā),有其戰(zhàn)略意義。這一技術(shù)路線,推動(dòng)了光互聯(lián)、液冷、高密度布線等底層技術(shù)的極限突破,是中國(guó)算力產(chǎn)業(yè)仰望星空的沖頂之路。
AI發(fā)展的速度總是超出預(yù)期,可能今天覺得32卡就夠了,但明天DeepSeek的新模型,也許內(nèi)含更多專家,超大規(guī)模的超節(jié)點(diǎn)或許可以帶來更低的每token成本。所以,適當(dāng)超前,把超節(jié)點(diǎn)規(guī)模進(jìn)一步做大,可以給后續(xù)技術(shù)迭代留下一定的冗余。
但對(duì)于更廣大的99%普通企業(yè)而言,需要的是腳踏實(shí)地的普惠之路。他們更迫切地希望,使用成本可控、穩(wěn)定可靠的超節(jié)點(diǎn)產(chǎn)品,解決當(dāng)下大模型落地的算力焦渴,支撐AI在生產(chǎn)力場(chǎng)景中落地。
![]()
所以堆卡炫技之外,這條更合身的普惠之路,同樣勢(shì)在必行,不可偏廢。
未來行業(yè)發(fā)展的理想狀態(tài),是這兩條路并行不悖。既有震撼世界的算力巨無霸,也有服務(wù)千行百業(yè)的普惠產(chǎn)品。企業(yè)無需關(guān)心超節(jié)點(diǎn)內(nèi)部有多少卡,只要插上電,AI就能跑起來,也不用擔(dān)心基礎(chǔ)設(shè)施的賬單出現(xiàn)天文數(shù)字。
實(shí)現(xiàn)這一目標(biāo),只能靠智算廠商急企業(yè)之所急,將可靠性、每token成本、TCO等指標(biāo),同步納入超節(jié)點(diǎn)的研發(fā)技術(shù)路線圖。別忘了,讓企業(yè)用AI更省,才是超節(jié)點(diǎn)技術(shù)的核心價(jià)值,也是商業(yè)成功的前提。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.