大模型進入萬億參數時代，超節點是唯一“解”么？丨ToB產業觀察

模型發展的兩極化趨勢已經愈發明顯，一方面，在企業級應用側，小參數模型成為應用落地的最佳選擇；另一方面，通用大模型的參數正在不斷攀升，大模型已經進入了萬億參數時代。

當前，MoE （Mixture of Experts）高效模型架構正在驅動大模型參數規模持續提升，比如采用 MoE混合專家架構的KIMI K2開源模型，其總參數量達1.2萬億，但每個Token 推理時僅激活32B參數。

算力系統面臨挑戰

隨著模型參數的不斷增加，萬億參數模型時代已經到來，無論是KIMI K2，還是GPT、Grok，參數量都已經發展到萬億階段，而萬億參數的模型也對算力系統架構提出新的挑戰。

首先要面臨的就是龐大算力需求。萬億參數模型的訓練需要極高的算力支撐。以GPT-3為例，其1750億參數的訓練量相當于在2.5萬張A100 GPU上運行90-100天。萬億參數模型的算力需求可能達到數十倍，傳統計算架構難以滿足。

同時，模型并行和數據并行的分布式訓練雖能分攤計算壓力，但跨節點的通信開銷（如梯度同步）會顯著降低算力利用率。例如，GPT-4訓練的算力利用率（MFU）僅為32%-36%，主要受限于顯存帶寬導致的“內存墻”問題。

此外，超大規模MoE模型的訓練穩定性也是不小的挑戰。參數規模和數據體量的激增會導致梯度范數頻繁突刺，影響收斂效率。同時，模型參數量的增加以及序列長度的增加將會帶來KV cache（鍵值緩存，Transformer架構大模型在推理過程中常用的一種優化技術）,數量的激增，尤其是序列長度的增加可能會帶來指數級的KV cache存儲空間的需求。

以FP16格式計算，萬億參數模型僅權重就需約20TB顯存，加上KV cache、激活值等動態數據，實際內存需求可能超過50TB。例如，GPT-3的1750億參數需350GB顯存，而萬億參數模型可能需要2.3TB，遠超單卡顯存容量（如H100的120GB）。此外，長序列（如2000K Tokens）的訓練會使計算復雜度呈平方級增長，進一步加劇內存壓力。這些需求遠超過了傳統AI服務器的顯存能力極限，亟需構建具有更大顯存空間的計算系統承載，才能解決模型“放得下”的問題。

此外，MoE架構的路由機制容易導致專家負載不均衡，部分專家因過度使用成為計算瓶頸，而其他專家則訓練不足。具體來看，傳統局部負載均衡損失（Micro-batch LBL）會阻礙專家領域特化，因為單個Micro-batch的數據分布往往單一。

對此，阿里云提出了全局負載均衡損失（Global-batch LBL），通過跨Micro-batch同步專家激活頻率，在保障全局均衡的同時允許局部波動，顯著提升了模型性能（平均PPL降低 1.5 個點）。

此外，當大模型技術方向逐漸從訓練轉向推理場景，清程極智CEO湯雄超在WAIC 2025期間曾向筆者表示，AI技術的主要方向，已經從預訓練轉向了后訓練及推理階段，“算力需求也正在從訓練側，轉向推理側。”湯雄超指出。

大模型推理屬于敏感型計算，對分布式計算通信延時要求很高，以MoE架構模型為例，其分布式訓練涉及大量跨設備通信，如Token分發與結果聚合，通信時間占比可高達40%。浪潮信息副總經理趙帥表示，在此背景下，企業需要構建更大Scale Up高速互連域。

總體來看，趙帥告訴筆者，萬億模型對算力系統也提出了很大挑戰，“企業需要具有更大顯存空間、更大高速互連域、更高算力的超節點系統支持。”趙帥指出。

構建大規模Scale Up系統或是最優解

面對算力需求的增加，以及新需求所帶來的挑戰，傳統Scale Out 集群通過增加節點數量擴展算力，但節點間通信瓶頸（如InfiniBand 的10微秒時延）在萬億參數模型訓練中被無限放大。單節點已經不能滿足超大規模參數模型的訓練需求，Scale Up系統通過超節點技術，將數百顆AI芯片封裝為統一計算實體，實現跨節點通信性能接近節點內水平。

從大模型應用角度出發，面對單點算力/顯存的天花板，構建大規模Scale Up 系統，通過并行計算技術（如專家并行、張量并行）將模型權重與KV Cache拆分到多個AI芯片上協同工作，在趙帥看來，這種路徑是解決萬億參數模型計算挑戰的唯一可行路徑。“我們需要構建大規模、高集成度的Scale Up系統，通過緊密耦合大量的AI芯片形成單一高速互連域，才能匯聚起超大顯存池以承載模型，并通過優化互連拓撲與協議實現芯片間超低延遲、高帶寬通信，從而滿足萬億模型推理‘放得下、算得快’的要求。”趙帥指出。

通過Scale Up系統的方式，已經成為未來萬億參數模型的必然趨勢，對于萬億大模型推理，不僅需要構建更大的顯存空間，還需要實現卡間超低延遲的互連，構建更大的scale up高速互連域。

除了構建龐大的系統之外，多芯片協同也是目前企業較為常用的一種方式，將多枚芯片封裝到一個計算帶上，縮短芯片間的距離，以實現更高的性能。

針對此，服務器廠商也在尋找新的技術方向，以滿足客戶在超大規模參數模型訓推方面的需求。以浪潮信息為例，在近日舉辦的2025開放計算技術大會上，浪潮信息就發布了面向萬億參數大模型的超節點AI服務器“元腦SD200”。趙帥向筆者介紹道，該產品基于浪潮信息創新研發的多主機低延遲內存語義通信架構，以開放系統設計聚合64路本土GPU芯片。

具體來看，此次發布的元腦SD200在可單機運行1.2萬億參數Kimi K2模型的同時，還支持DeepSeek、Qwen、GLM等模型同時運行，并支持多Agent協同按需調用。“構建具有更大顯存空間、更大scale up高速互連域，以及更高算力的超節點系統，應對萬億模型的算力挑戰。”趙帥與筆者分享了浪潮信息推出元腦SD200的“初心”。

從系統開放協同角度出發，元腦SD200基于全局路由自動構建技術，得以實現64卡P2P全互連與業務感知的拓補動態切換，并配合多層級通信機制，降低了All Reduce/All Gather 時延。

與此同時，依托開放PD分離框架，支持異步KV Cache高效傳輸與差異化并行策略，在提升業務SLO的同時保持對多元算力的兼容性，實現計算與通信架構的深度協同優化。

從架構創新角度出發，元腦SD200采用了多主機3D Mesh系統架構，基于Open Fabric Switch實現64路GPU高速互連。面對為何選擇創新性的3D Mesh系統架構的提問，趙帥表示，3D Mesh系統架構能夠讓服務器擁有一個更大的、統一地址的顯存空間，“通過3D Mesh系統架構，將原先單機8卡全互連拓展到了多機，跨域互連。”趙帥指出。

從應用角度出發，隨著推理場景的不斷發展，對低延遲的要求也越來越高，這也導致了Scale Up會成為接下來技術重點發展的方向，“Scale Out技術已經相對成熟，同時，在推理場景中，Scale Up是首先需要解決的問題，這也讓Scale Up成為未來大模型技術發展重點探索的領域，”趙帥進一步指出，“但這也并不意味著Scale Out就不適用了，Scale Up與Scale Out會保持同步前行的狀態。”

軟硬協同是關鍵

Scale Up的發展除了硬件架構的變革之外，也離不開軟件系統的搭建，只有做好軟硬協同，才能激發芯片更大的潛能，提升算力利用率。

當前，軟硬協同是解決萬億參數大模型算力瓶頸的核心路徑，其本質是通過軟件層深度適配硬件特性、硬件層針對性支撐軟件需求，實現“1+1>2”的效率躍升。

硬件能力的釋放需軟件層深度適配，比如，字節跳動 COMET 技術通過動態 KV 緩存重組，將MoE模型的通信延遲從0.944秒降至 0.053 秒，使超節點硬件利用率突破 90%。若缺乏軟件優化，即使硬件帶寬提升 10 倍，實際通信效率可能僅提升 2-3 倍。

基于此，趙帥表示，通過多年，歷經從實驗室到應用，再到用戶POC的過程，浪潮信息發現，軟件在超節點復雜的系統中，發揮著重要的作用，“當scale up鏈路復雜程度逐漸升高之后，就更需要對其進行更為細致的監控和管理，”趙帥進一步指出，“這種監控和管理與之前單機內的監控管理相比，復雜度更高，同時還需要在上層實現匹配創新系統架構的應用框架。”

以此次浪潮信息發布的元腦SD200為例，其中就針對3D Mesh系統架構開發了一套PD分離框架，但受限于PD分離技術定制化程度高、開源方案經驗少等特點，趙帥表示，在整體開發過程中，還是經歷了很長的POC環節，才將軟硬協同做到最優。

除此之外，數據中心就像一枚硬幣，一面是要面對日益增加的單機柜功率，另一面是要有序推進碳中和進程，如何平衡好硬幣的兩面，也是當前企業需要考慮的因素。尤其是使用超節點，其功耗密度已達兆瓦級（如萬卡集群功耗 > 10MW），軟硬協同是破局關鍵，若軟件未適配硬件的動態功耗調節，可能導致芯片長期處于高功耗狀態，甚至引發過熱降頻。

萬億參數大模型的爆發式增長，正推動算力系統進入從“量變”到“質變”的關鍵轉折期。龐大的參數規模、激增的顯存需求、復雜的通信開銷，以及MoE架構帶來的負載均衡與訓練穩定性挑戰，共同指向一個核心命題：傳統算力架構已難以承載智能進化的新需求。在此背景下，硬件架構的創新需要軟件層的精準適配，從動態KV cache重組到全局負載均衡策略，從通信協議優化到功耗智能調控，軟件系統正在成為釋放硬件潛能的“鑰匙”。唯有讓硬件特性與軟件需求形成閉環，才能真正突破“內存墻”、“通信墻”的桎梏，將超節點的算力優勢轉化為大模型落地的實際效能。（本文首發于鈦媒體APP，作者｜張申宇，編輯丨蓋虹達）