2026年3月3日,美光科技(Mciron)宣布通過向客戶發(fā)售業(yè)內(nèi)最大容量LPDRAM模塊——256GB SOCAMM2樣品,進一步擴大了其在低功耗服務器內(nèi)存領域的領先地位。這一里程碑得益于業(yè)界首個單體32Gb LPDDR5X設計,代表了AI數(shù)據(jù)中心的變革性進步,提供低功耗內(nèi)存容量,解鎖新的系統(tǒng)架構。
![]()
當然,人工智能訓練、推理、代理人工智能和通用計算的融合正在推動更高要求的內(nèi)存需求,并重塑數(shù)據(jù)中心系統(tǒng)架構。現(xiàn)代AI工作負載驅(qū)動大型模型參數(shù)、寬廣的上下文窗口和持久鍵值(KV)緩存,而核心計算則在數(shù)據(jù)強度、并發(fā)性和內(nèi)存占用方面持續(xù)擴展。
在這些工作負載中,內(nèi)存容量、帶寬效率、延遲和能效已成為主要的系統(tǒng)級限制,直接影響性能、可擴展性和總擁有成本。LPDRAM獨特的這些特性組合使其成為AI和核心計算服務器在日益耗電和熱量受限的數(shù)據(jù)中心環(huán)境中的基石解決方案。美光正與英偉達合作,共同設計滿足先進人工智能基礎設施需求的高端內(nèi)存。
![]()
“美光的256GB SOCAMM2產(chǎn)品,使AI和高性能計算(HPC)都能實現(xiàn)最節(jié)能的CPU附加內(nèi)存解決方案。今日的宣布凸顯了美光在技術和封裝方面的進步,旨在提供業(yè)內(nèi)最高容量、最低功耗、體積最小的模塊化內(nèi)存解決方案,”美光云存儲業(yè)務部高級副總裁兼總經(jīng)理Raj Narasimhan表示。“我們在數(shù)據(jù)中心應用低功耗內(nèi)存解決方案方面的持續(xù)領先地位,使我們成為首家推出32Gb單片LPDRAM芯片的廠商,助力推動行業(yè)采用更節(jié)能、高容量系統(tǒng)架構。”
設計目標是容量、能效和工作負載性能優(yōu)化
美光的256GB內(nèi)存SOCAMM2為多種AI和通用計算工作負載提供更高的內(nèi)存容量、顯著更低的功耗和更快的性能。
1、AI服務器內(nèi)存容量擴展:
256GB SOCAMM2 SOCAMM2比之前最高容量192GB多出三分之一,為每個8通道CPU提供2TB的LPDRAM容量,支持更大的上下文窗口和復雜的推理工作負載。
2、更低功耗和更小的面積占用:
SOCAMM2 與同類 RDIMM 相比,占用了三分之一的功耗,同時僅占用三分之一的占地面積,從而提升機架密度并降低總擁有成本。
3、推理和核心計算性能提升:
在統(tǒng)一內(nèi)存架構中,256GB SOCAMM2在用于KV緩存卸載時,能將首個令牌時間(TTFT)提升超過2.3倍,用于KV緩存卸載。
![]()
基于美光內(nèi)部測試結果顯示,使用Llama3 70B模型(帶FP16量化),使用50萬上下文長度和16名并發(fā)用戶進行實時推理。預計TTFT延遲的改進基于每CPU 2TB LPDRAM延遲0.12秒,而每CPU 1.5TB LPDRAM延遲為0.28秒。即便是面對100萬上下文長度,具有2TB LPDRAM的系統(tǒng)依然可以提供更快的TTFT。
![]()
在獨立CPU應用中,LPDRAM在高性能計算工作負載下,每瓦性能比主流內(nèi)存模塊高出3倍以上。
4、模塊化設計以提升可維修性和可擴展性:
模塊化SOCAMM2設計提升了可維修性,支持液冷服務器架構,并隨著AI和核心計算內(nèi)存需求的不斷增長,實現(xiàn)未來容量擴展。
“先進的人工智能基礎設施需要在每一層都進行極其優(yōu)化,以最大化性能和效率以應對高負載的人工智能推理工作負載,”英偉達數(shù)據(jù)中心CPU產(chǎn)品主管伊恩·芬德表示。“美光在實現(xiàn)大容量內(nèi)存和帶寬方面取得的成就,其功耗低于傳統(tǒng)服務器內(nèi)存,達成了256GB SOCAMM2,正在推動下一代AI處理器的發(fā)展。”
推動行業(yè)標準并加速低功耗存儲器的普及
美光繼續(xù)在JEDEC SOCAMM2規(guī)范定義中發(fā)揮領導作用,并與系統(tǒng)設計師保持深度技術合作,推動下一代數(shù)據(jù)中心平臺在全行業(yè)范圍內(nèi)提升能效和性能。
![]()
△美光內(nèi)部測試顯示,使用256GB LPDRAM模塊的Spark SVM的通用服務器可以實現(xiàn)高達4倍的加速。
美光現(xiàn)已開始發(fā)貨其256GB SOCAMM2的客戶樣品,并提供業(yè)內(nèi)最廣泛的數(shù)據(jù)中心LPDRAM產(chǎn)品組合,涵蓋8GB至64GB組件以及48GB至256GB SOCAMM2模塊。
編輯:芯智訊-林子
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.