“超級周期”這個詞,再次回到了存儲半導體的敘事中心。
過去,內存價格起起伏伏,總被視為資本開支與庫存的游戲。2021年,行業沉浸于短缺經濟的繁榮之中,兩年后,行業又旋即陷入“傳統周期”低谷,三巨頭的美光、三星與SK海力士,利潤率無一不是跌破零點。
![]()
正是GPT的橫空出世,重新定義了內存的價值。AI的性能,很大程度上去取決于它們存儲數據的方式,訪問數據的速度,以及可以儲存的數據的規模。計算是能源的處理形式,但能源也越來越多地用于數據不斷寫入、讀出與傳輸。彼時,為內存這一標準化的“大宗商品”帶去新生的是HBM。
如果機械照搬四五年一輪回的“傳統周期”,很快內存行業又將陷入低谷。但這一次,行業相信AI正在改寫這條曲線。需求不再僅僅是短期庫存回補,而是對計算、帶寬及能效的結構性重塑。
賣方市場
整個AI都是芯片的賣方市場。硅谷巨頭們陷入了第二波AI基建熱潮,不僅GPU短缺,HBM同樣短缺。SK海力士明年的訂單也早已售罄。
面向數據中心的HBM,由堆疊的DRAM構建而成,創造了更高的價值。它與主要面向消費電子市場的DDR,存在產能分配矛盾。從Ampere到Blackwell Ultra,HBM不僅在AI基礎設施硬件中的材料清單(BOM)中成本超過一半,而且還在繼續增長;在BOM增長中,絕對和相對增長的最大部分,都來自HBM。因此,內存巨頭們也更有動力將產能分配給它。
另一方面,消費電子也在接受AI的棲身;又撞上了PC換機周期。最近,蘋果已經開始搶購三星明年二季度出貨的LPDDR5X內存(低功耗版),以應對已經遲到的個人AI體驗;小米干脆宣布上調新品售價。
盡管NAND領域與DRAM沒有直接的產能分配矛盾,但它們往往在資本開支層面此消彼長。這也導致內存的“超級周期”從DRAM領域蔓延至NAND領域。另一方面,隨著Veo 3與Sora 2將視頻生成推向競爭前沿,AI對于大容量儲存的需求,本身也在飛漲。上個月,閃迪率先宣布漲價,全系上調10%;這個月,三星和SK海力士更是提價高達30%。
市場普遍預計,這場由AI驅動的供應短缺,不只是供需錯配的結果,將比以往任何一次“傳統”的繁榮周期都更長、更強。
以內存為中心視角的AI基礎設施
![]()
這張來自Seagate(希捷)的圖示,清晰地展示了,在AI基礎設施的整體架構中,各類存儲(Storage )與內存(Memory)產品在不同環節中的分工與作用。
GPU或XPU等處理器,與HBM/DRAM緊密耦合,從而構建出強大的計算集群(Compute Cluster)。越靠近GPU,數據就越“熱”,也就越需要更高的帶寬與更低的延遲。最終,這些數據會流入一個基于HDD(機械硬盤)或SSD(固態硬盤)構建的網絡化存儲集群(Storage Cluster),“冷卻”下來,用于長期保存。它們容量更大,成本更低,速度則會更慢。
在過去,大模型預訓練是AI基礎設施的主要需求。這是一個數據如何被存儲、預處理、分發,以及模型權重如何更新的流程。龐大的訓練數據集通常存放在存儲集群,前端配備了一層SSD緩存,以提高讀取效率。訓練開始前,數據會被token化,以二進制格式寫入SSD。在訓練中,這些token會被分批(batch)加載到GPU,使得HBM得以充分利用;模型的權重與狀態會周期性地保存為檢查點(checkpoints),存放在NVMe(基于PCIe總線的高性能存儲協議)SSD上,以便中斷后快速恢復。
如今,推理已成為新的主角。它意味著模型權重、鍵值緩存(KV cache)以及RAG(檢索增強生成)的不同數據訪問模式。在這個過程中,模型參數不再頻繁重寫,也讓不擅長此道的NAND獲得新的機會。當查詢觸發時,模型權重必須加載到HBM。隨后生成的鍵值矩陣(KV matrices),也會暫存在HBM中,用于后續注意力計算。如果KV緩存過大,就要先后分層卸載(offload)至DRAM與SSD中。RAG的向量數據庫通常也存放在SSD上,在推理時快速檢索并載入HBM。
容量、帶寬與成本,構成了AI基礎設施中內存技術的“不可能三角”。但市場仍試圖突破邊界,或同時提升三者上限,或在特定應用中強化某一項性能。這為即將到來的“超級周期” 注入了新的結構性增量與想象力。
定制HBM
不斷擴展的大模型,對帶寬的追求也沒有盡頭。越靠近計算核心的內存,就越成為性能提升的關鍵。被稱為“HBM之父”的,已經將HBM的路線圖,規劃至 2038年。從HBM4到HBM8,每一代都在推高帶寬、速度與容量上限,其中帶寬的提升尤為顯著。
![]()
如今,SK海力士、美光與三星已經進入HBM4的首輪競速。三家公司已經先后向英偉達送樣,HBM4將成為2026 年下一代AI基礎設施與AI加速芯片的標準配置。
但正如AI芯片,HBM也開始講訴同樣的敘事。為了壓縮能耗、減少延遲與信號損失,AI芯片廠商開始與存儲廠深度共設計(co-design),推出定制化基底裸片(custom base die)。這意味著HBM堆疊底部的邏輯層不再通用,而是針對特定AI架構優化信號路徑、電源分配與接口協議,從而實現更高的能效和帶寬密度。這是一次革新架構層面的重大飛躍,徹底改變了HBM與AI加速器的集成方式。
今年6月,SK海力士同時鎖定了英偉達、微軟、博通,達成HBM4E定制合作;三星也在與博通、AMD談判。英偉達已經拿出了自己的基礎裸片的設計,預計2027年小規模量產。它現在不僅要自己掌握GPU、CPU與網絡,還要掌握HBM,未來無論HBM由哪家制造,都必須兼容它的底層架構。亞馬遜AWS高管直言,HBM定制化“可能會關閉其他玩家的大門”。
存算一體
如果HBM代表著“更大的帶寬”,那么“更近的距離”也是業界開始思考大幅降低數據延遲的另一條路徑。初創企業d-Matrix就認為,與其堆疊更多帶寬,不如直接。
在今年夏天的 Hot Chips 2025 上,這家成立于2019年的企業,展示了這種理念的最新形態。它就是Pavehawk 架構,其核心是3D堆疊數字內存計算(3DIMC)技術,使用改進型SRAM單元,在內存內部直接執行計算。通過在垂直方向上將計算層與存儲層堆疊,數據移動距離被壓縮到極限。它還發布了存算一體的Corsair芯片,宣稱帶寬性能比HBM4高出10倍,能耗則降低90%。
![]()
到了OCP全球峰會2025上,d-Matrix更進一步,展示了機架級解決方案 SquadRack。它在性價比、能效、token生成速度上,分別提升了3倍、3倍、10倍。單機架可以運行千億參數大模型;想要部署更大的模型,還可以通過以太網橫向擴展。明年,這家公司還會拿出迭代后的Raptor架構。
推理工作負載正遷移至邊緣與端側。隨著小模型性能逐步提升,存算一體能在延遲高度敏感的應用場景下找到自己的機會。側重SRAM層面的創新,也是Groq等芯片初創企業努力突破的方向。
熱數據擴展
隨著推理負載不斷擴大,壓力也在從DARM向NAND傳導。當上下文窗口與并發請求同時增長時,推理系統開始需要一種更廉價、更大容量的“緩沖層”。這讓SSD成為了創新焦點。
當初,為了減輕HBM的壓力,無論是英偉達的Dynamo Distributed KVCache Manager框架,還是華為的UCM技術,都在通過多級緩存算法,將訪問壓力逐層下沉到存儲層。但HDD帶寬實在太低,帶寬性能(BW/TB)反而隨著單盤容量持續提升而逐年下降。而主流TLC(三層單元)SSD容量稍顯不足;一個單位SLC(單層單元)能儲存1個比特(2種狀態),到了量產級的最新主流技術QLC(四層單元)則能儲存4個比特,相當于閃存容量翻了16倍。
![]()
今年年中,Meta宣布與PureStorage合作,將QLC SSD引入數據中心架構,以取代部分HDD和TLC SSD。Meta認為,盡管TLC在寫入密集型環境中仍具優勢,但QLC擁有更高密度、更好能效和更低的每TB成本,足以承擔“熱數據”的一部分任務。
HBF終局
如果說HBM代表著DRAM的堆疊形態,那么HBF則是NAND的堆疊形態。前者在內存層級持續追求更高帶寬,后者則在存儲層級探索更高帶寬與更大容量。這種架構尤其適合向量數據庫與AI智能體等場景,它們渴求內存容量的高速增長。
金教授相信,未來,HBF將左右整個業界的性能表現。力積電(Powerchip)也是這么想的,在上周的財報發布會上表示,HBF將成為未來的重要技術,能夠滿足文本、圖像甚至視頻模型帶來的超大規模存儲需求。Rubin CPX的出現已經證明,并非所有階段都必須超高的內存帶寬;是時候追求更高的內存容量了。
當前,HBM最大的短板正是容量。由于DRAM采用“1T1C”結構,即每個單元包含一個晶體管(Transistor)和一個電容(Capacitor),其擴展空間已經逼近物理極限,內存密度難以繼續提升。相比之下,NAND采用單晶體管浮柵(floating gate)結構,單元間距更緊湊,便于擴展。基于NAND的架構可實現比HBM高8至16倍的存儲密度,并在相近成本下提供可比的讀取帶寬。
今年8月,閃迪(SanDisk)與SK海力士簽署了諒解備忘錄(MoU),宣布共同開發HBF產品,首批樣品預計將于2026年下半年面市。在本月的OCP大會上,SK海力士官宣了“AI-NAND B”系列,正是一款通過堆疊NAND閃存以擴大帶寬的HBF。
AI時代,AI基礎設施中的內存棧正在被逐步重構。大模型的未來,取決于它能裝下多少數據,又能以多快的速度讀寫這些數據。市場在擴產HBM,滿足周期性上行的需求,也在發明新的內存形態,創造新的增量市場。于是,內存或許真的迎來了屬于自己的“超級周期”。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.