AI原生時代來臨，商湯大裝置如何重塑算力集群架構

近日，作為2026中關村論壇核心組成部分，由趨境科技與九源智能計算系統(tǒng)生態(tài)聯(lián)合體共同主辦的“全棧智能 全域推理：Token爆發(fā)元年的全場景大規(guī)模推理服務”專題研討會成功舉辦。

商湯大裝置首席架構師項鐵堯受邀出席研討會，并發(fā)表《商湯大裝置AI原生云基礎設施探索與實踐》主題演講，系統(tǒng)闡述了商湯大裝置對AI原生時代算力集群建設的前沿判斷與實踐路徑——如何將軟硬件能力真正轉化為客戶可用、易用、高效的算力服務。

在他看來，當算力集群的發(fā)展進入AI原生時代，新的架構范式應具備統(tǒng)一的規(guī)范、極致彈性的擴縮容機制以及為大模型訓練和推理深度優(yōu)化的AI集群runtime。

01. AI算力池：面向角色、水平分層、資源自由流轉

項鐵堯從底層技術視角切入，指出Kubernetes（全球最流行的容器編排平臺）正朝著AI方向發(fā)展。

隨著動態(tài)資源分配（DRA）、Workload API與Gateway API三項核心新特性的引入，K8s逐漸從簡單的容器編排工具，進化為AI時代的操作系統(tǒng)。這背后，其實是整個行業(yè)在加速從云原生集群時代向AI原生時代躍遷。

圍繞上述轉變過程，項鐵堯重點介紹了商湯大裝置前瞻打造的核心產(chǎn)品——AI算力池。

據(jù)了解，AI算力池面向AI原生時代全新算力服務需求，采用"三明治"水平分層架構，從底層高度優(yōu)化的計算網(wǎng)絡存儲基礎設施，到中間層全新的虛擬集群技術，再到上層涵蓋開發(fā)機、訓練平臺、部署平臺及Agentic Engine的完整PaaS產(chǎn)品體系，全面杜絕不同產(chǎn)品之間的資源孤島問題。

其中，大裝置AI算力池具備三大優(yōu)勢：

1）面向角色。面對客戶內部角色多元、需求復雜的現(xiàn)實，分別設計服務形態(tài)、提供差異化的解決方案。比如針對集群管理員與平臺工程師提供高彈性虛擬集群資源；針對AI研究員，可提供豐富的腳本工具與高效研發(fā)環(huán)境等等。

2）水平分層。AI算力池采用“三明治”結構，杜絕產(chǎn)品間信息、資源孤島的可能。

3）資源自由流轉。用戶只需購買一種通用算力形態(tài)，即可在虛擬機、虛擬集群、AI Code Space開發(fā)機等不同產(chǎn)品形態(tài)之間秒級自由切換，充分應對國內普遍存在的算力潮汐效應，大幅提升集群整體資源利用率。

02虛擬集群：全量托管，秒級彈性擴縮容

值得一提的是，在底層Infra層，商湯大裝置創(chuàng)新應用虛擬集群技術，解決了傳統(tǒng)云托管服務中“數(shù)據(jù)面管理重、擴容慢”的痛點。

有別于主流云廠商僅托管控制面，數(shù)據(jù)面仍需用戶自行管理的傳統(tǒng)模式，全新的虛擬集群技術，實現(xiàn)了控制面與數(shù)據(jù)面的全量托管，擴縮容效率從傳統(tǒng)方案的數(shù)分鐘乃至數(shù)十分鐘壓縮至秒級，同時提供完全標準的K8s API，用戶無需對現(xiàn)有代碼做任何修改即可無縫接入。

03三大自研套件：護航超大規(guī)模AI訓練與推理

在虛擬集群基礎上，項鐵堯進一步提出AI集群Runtime產(chǎn)品概念。

“要快速搭建一個離線混部、訓練推理混合使用的集群非常復雜，因為現(xiàn)在AI新的技術層出不窮，各種組件之間協(xié)同優(yōu)化同樣復雜?！表楄F堯指出，“為了解決這種難題，我們通過智能推薦、深度調優(yōu)與版本鎖定機制，幫助用戶快速搭建復雜的在離線混部、訓練推理混合使用集群，降低AI基礎設施的使用門檻與運維復雜度?！?/p>

為了進一步滿足超大規(guī)模AI生產(chǎn)場景的極致性能需求，商湯大裝置還自研了三大套件：

1）SenseCore Scheduler：高性能調度器，支持復雜異構硬件的在離線混合調度。

2）容錯引擎：解決超大規(guī)模訓練中的不穩(wěn)定性，實現(xiàn)故障自動檢測與隔離。

3）Agentic Engine：針對不斷涌現(xiàn)的Agent使用需求，進行深入優(yōu)化，包括沙箱預熱、快速啟動、規(guī)劃保持、狀態(tài)快照等。

04虛擬節(jié)點：打通彈性算力最后一環(huán)

為了以更靈活的規(guī)格為客戶提供算力資源，商湯大裝置同步自研虛擬節(jié)點技術，它具備三大優(yōu)勢：

1）虛擬集群體系無縫集成；

2）提供相比于虛擬機更輕量級的使用體驗以及更高效的性能；

3）提供相比于runc更好的安全性和隔離度。

05生態(tài)合作，共同助推國產(chǎn)推理基礎設施迭代

演講中，項鐵堯還特別感謝九源智能計算系統(tǒng)生態(tài)聯(lián)合體與生態(tài)伙伴趨境科技。

目前，商湯大裝置已與趨境科技展開深度合作，為趨境科技自研的ATaaS高效能AI Token生產(chǎn)服務平臺提供高性能、高可靠的算力支撐。

據(jù)了解，趨境ATaaS高效能AI Token生產(chǎn)服務平臺可支撐萬級別AI推理需求，并達到日均萬億級別Token整體產(chǎn)能。

在生態(tài)聯(lián)盟層面，商湯大裝置作為九源智能計算系統(tǒng)生態(tài)聯(lián)合體理事單位，積極參與這一以"產(chǎn)學研用服"協(xié)同合作為核心模式的開放生態(tài)。

該聯(lián)合體聚焦國產(chǎn)智能計算系統(tǒng)建設、軟件生態(tài)統(tǒng)一與技術成果轉化，致力于構建自主可控的智能計算產(chǎn)業(yè)生態(tài)。商湯大裝置加入其中，希望以自身在AI基礎設施領域的積累，為整個生態(tài)貢獻實質性力量，推動AI能力真正走向普惠。

未來，商湯大裝置將進一步聯(lián)合生態(tài)伙伴，共同推動國產(chǎn)推理基礎設施迭代升級，為我國人工智能產(chǎn)業(yè)高質量發(fā)展、新質生產(chǎn)力落地提供堅實支撐。

轉載來源：商湯科技

本文為量子位獲授權轉載，觀點僅為原作者所有。