業界首個！超A 100

近日，記憶張量聯合商湯大裝置宣布，在國產GPGPU上率先跑通業內首個以“記憶—計算—調度”一體化為核心的PD分離商用推理集群。在真實C端負載下實現了單卡并發效率提升20%、吞吐提升75%，綜合推理性價比達到同代NVIDIA A100的150%。這一成果標志著國產算力體系在大模型商業化路徑上首次具備“體系級”競爭力，為高性能模型的大規模落地打開了全新的降本增效空間。

結構共振

讓 PD 分離從優化技巧走向推理范式

記憶張量旗下核心產品MemOS作為業內唯一一家以記憶為中心，覆蓋從底層推理、到記憶模型，再到應用工程進行系統設計的記憶基礎設施，將大模型的認知結構劃分為三類記憶，并形成了一條跨時間尺度的調度鏈路，可以進行精細的決策：哪些計算應該前移到Prefill，哪些必須留在Decode，以及任務的保留、降級或淘汰等。

顯然，MemOS更適合和PD分離進行結合——它擁有一整套可以“決定如何用這條通道”的調度邏輯，從而把PD分離原本有限的收益空間盡可能壓榨到極致。

在本次聯合方案中，商湯大裝置提供了讓MemOS 三層記憶結構擁有物理載體的頂層系統級基礎設施。依托商湯大裝置IaaS的高效算力池、智能算力調度等為模型推理提供穩定的基礎設施支撐；并借助Ignite框架提供多后端推理適配、KV Cache管理優化、關鍵算子加速、跨節點通信調優等性能增強，形成體系化的推理優化鏈路；同時，商湯萬象MaaS平臺的統一調度策略確保Prefill與Decode服務在高并發場景下始終穩定運行。

在商湯大裝置的某國產GPGPU集群上，MemOS的記憶結構被映射成了非常清晰的物理分工：

● P域（Prefill Domain）變成真正的“記憶工廠”，集中承載影子上下文的預測與KV Cache的批量預生成，在P域以高并行、高利用率的方式運行；

● D域（Decode Domain）則被打造為純粹的“實時交互前臺”，專注處理真實用戶請求的解碼過程，在保持超低TTFT的前提下，承擔起R1這一類大模型在C端場景的連續輸出與穩定響應；

● 跨節點KV Cache則通過高帶寬互聯與零拷路徑實現“即產即用”，MemOS的激活記憶機制與商湯大裝置在某國產GPGPU上打磨出的通信能力形成天然互補，使Prefill產生的KV Cache不再成為傳輸瓶頸，而是以極低開銷進入D域的解碼流程中。

這次合作是一次體系級的結構共振：PD分離為MemOS打開了一條真正意義上的高速算力通道，而MemOS則為PD分離提供了精細到記憶單元級別的調度邏輯和業務上下文，基于此，PD分離第一次從一個工程團隊內部的“性能小技巧”，變成一套可以被完整描述、完整度量、并在生產環境中長期運行的新推理范式。

綜合推理性價比

達到同代NVIDIA A100的150%左右

在嚴格的生產級評測口徑下——包括2k輸入、1k輸出、TTFT＜2s 的SLA約束、72小時以上穩態運行、統一的限流與負載生成策略——記憶張量與商湯大裝置聯合打造的國產GPGPU集群交出了這樣一張答卷：

● 集群整體吞吐量提升超過75%，從Naive部署下的107.85 tokens/s提升到189.23 tokens/s，Prefill與Decode真正做到了算/存解耦；

● 單卡并發能力提升約20%，從25.00并發/卡提升至29.42并發/卡，高峰期排隊與溢出的風險明顯降低；

● 并且，得益于 Prefill 全量前移和 D 域職責的單一化，TTFT全程穩定小于2秒；KV Cache在熱門場景中的命中率提升70%+，這使得需要高頻、多輪交互的C端應用，具備了極高的預計算復用率，推理成本被進一步攤薄。

在統一財務與技術口徑下，綜合推理性價比達到同代NVIDIA A100的150%左右，在嚴格SLA與相同負載結構下，某國產GPGPU在這一套“記憶原生×PD分離×業務調度”的框架中，第一次實現了對A100的體系級正面超越。

打造記憶原生時代的

國產AI基礎設施新范式

未來，記憶張量與商湯將在這一范式之上繼續深化合作：

● 一方面，圍繞更大規模的國產GPGPU集群，構建真正意義上的記憶驅動流水線推理底座，讓“影子上下文—激活記憶—PD分離—多級緩存—AIOps”成為一套可觀測、可回滾、可演進的基礎設施能力；

● 另一方面，在Prefill行為預測自治化、多級激活記憶管理、跨任務長時記憶一致性、面向Agent的軌跡記憶等方向上持續打磨，讓這套范式更能承載未來的伴隨式AI、具身智能體以及更復雜的長周期任務編排。

從更長遠的視角看，這次聯合實踐帶來的最大改變是：國產算力體系第一次擁有了另一條面向未來智能形態的可能“結構性路線”：從參數計算走向記憶計算，從靜態推理走向動態流水線，從模型中心走向記憶中心。未來，國產GPGPU不再只是“跟上來”的參與者，而完全有機會成為下一代推理范式的定義者之一。