HBM之父：HBM的終點是HBF

韓國半導體公司SK海力士日前宣布，已完成下一代超高性能AI存儲器產品HBM4的開發，并且已經為全球首次量產準備就緒。

HBM4將是下一代數據中心和AI芯片的首選標準，是存儲三巨頭海力士、三星和美光爭壓的一張王牌。將使用它的英偉達Rubin GPU，已經最近在臺積電成功流片，2026年量產。

(從HBM3到HBM4架構）

HBM4 擁有業界最佳的數據處理速度和能效，采用2,048 個 I/O 端口，帶寬較上一代翻倍，能效提升 40% 以上。預計該產品應用后，AI 服務性能將提升高達 69%，從而解決數據瓶頸問題，并大幅降低數據中心的電力成本。

SK海力士表示：“HBM4的開發完成將成為行業新的里程碑。”未來，HBM將不再是標準化產品。為了降低整體的功耗和性能損失，上游AI芯片廠商紛紛開啟了定制化趨勢。它主要是用針對特定AI加速器架構定制的基底裸片（custom base die），取代了傳統的通用裸片，優化信號路徑、電源分配和接口協議，從而實現更高的能效和帶寬密度。Semianalysis認為，這是一次革新架構層面的重大飛躍，徹底改變了HBM與AI加速器的集成方式。

今年6月，SK海力士已與英偉達、微軟、博通達成HBM4E定制合作，三星也在與博通、AMD談判。這對中國廠商意味著更高的技術門檻與商業壁壘。亞馬遜AWS高管甚至稱，定制化可能“關閉其他玩家的大門”。HBM國產替代仍要加速奔跑，盡早實現國產AI算力生態閉環。

HBM5時代，英偉達殺入

存儲墻的長期存在，成本持續上漲，威脅著英偉達未來的市場地位。從Ampere到Blackwell Ultra，HBM不僅在材料清單（BOM）中成本超過一半，而且還在繼續增長，BOM增長中絕對和相對增長的最大部分都來自HBM。

在計算與存儲架構融合的趨勢下，HBM決定著未來AI芯片制高點，英偉達從去年即開始布局掌握核心技術。最近更是傳出英偉達將自己設計HBM基礎裸片。這是一項至關重要的核心技術，英偉達已經決定，今后無論用誰家的HBM，基礎裸片必須自家設計。據業內盛傳，3納米制程的基礎裸片，預計將于2027年下半年小規模量產。

實際上，英偉達已經于2024年8月就向美國專利局提交了一份專利申請，并于12月獲批。這項專利是一種 3D 堆疊式“近存儲計算”架構，通過讓處理器裸芯片與存儲裸層層堆疊并一一對應，提升了數據局部性和運算效率，特別適用于 AI 大模型訓練和高性能計算場景。

這樣的話，英偉達的自己設計的裸芯片將有可能用于HBM5。據韓國科學技術院（KAIST）的Tera Lab最近展望，HBM5 將于 2029 年上市，瞄準英偉達的費曼（Feynman）產品。

HBF將取代HBM

HBM 已經成為韓國半導體產業同義詞，而韓國 KAIST（韓國科學技術研究院）的金正浩教授被稱為“HBM之父”。他讓韓國AI半導體享譽世界，為三星電子、SK海力士等韓國半導體企業主導全球高寬帶存儲產業，提供了理論與技術的支持。

今年6月，金教授指導TeraLab 公布了一份至2038年的 HBM 路線圖，規劃了從HBM4 到HBM8的技術進步。

金教授預測：“在HBM4中，一些GPU功能將被整合進基底芯片，同時使用LPDDR 存儲器，可以緩解數據瓶頸?！钡搅薍BM5階段，構成 HBM 的DRAM 中的TSV（硅通孔）數量將增加到 4000 根以上，嵌入SRAM 緩存，并且將封裝直接浸入冷卻液，這種浸沒式冷卻會成為標準。HBM6將在基底芯片上以“雙子塔”的形式排列多個HBM堆棧，并引入玻璃與硅結合的混合中介層。

金教授認為，這時真正的變革才開始。

HBM7將采用嵌入式冷卻技術，讓冷卻液直接在存儲晶片之間流動。更重要的是，在這一階段，一個名為高帶寬閃存（HBF）的新概念將出現，它利用 NAND。最終，HBM8將演化為完全的3D結構，HBM 將同時置于GPU的上下兩側，帶寬有望達到每秒64TB。

9月3日，在仁川松島會展中心舉行的國際先進半導體基板·封裝產業展（KPCA Show）Insight 2025主旨演講中，金教授表示：“未來，將NAND閃存像高帶寬內存（HBM）一樣堆疊的HBF，將左右整個業界的性能表現?！?br/>

HBF是一種基于NAND閃存的堆疊式內存，其技術概念與HBM相似。今年初，美國存儲公司SanDisk公開表示正在開發這項技術。它與HBM的實現方式類似，后者是將DRAM芯片像塔一樣垂直堆疊，然后通過硅通孔（TSV）進行垂直互連。HBF的不同之處在于，它用NAND閃存取代了DRAM芯片，以特定的方式進行堆疊。

Sandisk認為，今年以來發布的大模型出現了明顯的趨勢。每一代新模型尺寸和上下文長度都在增加，這推動了對更高內存容量的需求，而混合專家 (MoE) 等架構創新的實施導致計算需求呈下降趨勢。這種對更多內存和更少計算需求的組合催生了一種新范式，Sandisk稱之為“以內存為中心的 AI”的新范式——它最適合基于 HBF 的系統。

而基于 NAND 的架構可提供 8 到 16 倍于HBM的容量，同時以相同的價格提供相同的讀取帶寬。

（來源：Sandisk)

金教授指出：“目前，三星電子和SK海力士的業績主要由HBM決定，但十年后，HBF將取而代之?！?br/>

他說：“HBM負責速度，而HBF將負責容量。”他的設想是堆疊數百層NAND閃存，將其重構為類似HBM的高帶寬結構。預計在未來10年內，HBF可能會成為存儲市場的另一大支柱。已有一些海外公司希望在這一研究上與金教授進行合作。

HBF可以取代HBM基底芯片上LPDDR的位置。通過補充HBM的容量限制，HBF可以直接在GPU內存儲大型AI模型。在這種架構中，HBM將扮演臨時快速處理數據的緩存角色，而HBF則充當存儲海量AI模型本身的主內存角色。金教授預測：“同時生產DRAM和NAND閃存的三星電子和SK海力士這兩家公司將迎來巨大的發展機遇?！盨andisk已經與 SK海力士合作，共同制定HBF的全面行業標準。

除了內存帶寬和容量之外，金教授還將HBM的穩定供電和散熱管理列為重要的AI性能決定因素。他分析道：“TSV在供電和散熱管理中扮演著重要角色。三星電子和SK海力士的產品在質量上可能存在差異，部分原因可能在于對TSV的精簡?！?/p>

金氏定律

如果說在加速計算領域有“黃氏定律”，在存儲領域就有“金氏定律”（Kim's law）。金教授于2017年提出，密集三維集成電路中堆疊和層數大約每兩年翻一番，并預測這一增長率將持續多年。

金教授的預測多年來已被證實。它已被用于指導韓國半導體行業的長期規劃和制定研發目標。高帶寬系統的進步與金氏定律密切相關：數據帶寬、I/O數量和內存容量。高數據帶寬系統促進了圖形計算、高性能計算系統和機器學習應用的最新發展。

當HBM剛開始研發時，很多人質疑誰會使用這樣昂貴而復雜的存儲器，但金教授團隊追求學術成就，堅持研究，隨著ChatGPT的出現，他們的成果迎來了爆發。SK海力士和三星電子開發的HBM都融合了金教授的研究。實驗室的成果也在ISSCC、VLSI等國際會議上發表，并為 HBM 標準化進程提供了關鍵理論。

金教授表示：“決定AI性能的不是 GPU，而是HBM的帶寬和連接數量?！逼鋱F隊的使命，就是為了實現這一藍圖奠定理論基礎。

其原因在于，人工智能（AI）的性能提升越來越依賴于內存帶寬和容量。金教授解釋說：“當前的AI主要基于Transformer深度學習架構的生成式AI。要處理一個輸入Token達到100萬個的模型，需要TB級別的數據。”他補充道：“當每秒需要對TB級別的大數據進行數千次的讀寫操作時，如果內存帶寬不足，就會出現瓶頸現象?！?/p>

一旦出現瓶頸，基于OpenAI的ChatGPT或Google Gemini等大型語言模型的生成式AI服務響應速度就會變慢。這種瓶頸源于當前計算機的基礎架構，即馮·諾依曼架構。在這種架構下，CPU或GPU與內存是物理分離的，因此兩者之間的數據傳輸速度（即帶寬）至關重要。金教授強調：“即使GPU的尺寸擴大一倍，如果內存帶寬不足，也無濟于事。AI的性能最終受限于內存，并由內存的性能決定。”

Teralab，HBM研究樞紐

（金教授在TeraLab門口）

自 2000 年代初金正浩教授創建 TeraLab 以來，這里就成為一個專注于存儲與封裝的全球研究樞紐。HBM是其中的核心。TeraLab把 HBM從一個概念變為現實，并且一步一步地把曾經被視為低價值元件的存儲半導體，轉變為高價值的半導體和AI的核心部件。金教授也因此被稱為“HBM 之父”。

金教授的團隊和實驗室連接著產業現場。自2010年代初期起，他們便參與與三星電子、SK海力士的HBM商用化研究，架起了學界與產業的橋梁。實驗室開發的封裝仿真技術，以及電源與信號完整性分析方法，成為全球首款 HBM 產品開發的基石。

TeraLab的論文在學術界和業界被廣泛引用，尤其是封裝與存儲接口論文已被引用數百次，實驗室提出的“基于混合鍵合的TSV結構”，直接被應用于HBM3E和下一代HBM的設計中。

HBM并不是唯一的研究重點。實驗室的2.5D 和 3D封裝技術同樣世界領先。他們提出的微通道冷卻設計和中介層功耗優化分析，已經成為全球公司在設計下一代 GPU 和 AI 芯片時參考的基礎模型。金教授還代表韓國參與了《國際半導體技術路線圖》（ITRS）和 IEEE 《異構集成路線圖》（HIR），把TeraLab的研究成果帶入全球標準化討論。

這些研究成果也促進了人才培養。迄今為止，已有 200 多名學生在 TeraLab 獲得碩士和博士學位，許多人如今在三星電子、SK 海力士、英偉達、谷歌和蘋果等全球半導體公司擔任核心技術人員。許多科技巨頭都熱衷于招募擁有半導體背景經驗的學生。這些學生不僅進入主要的半導體公司，還加入了 Meta、特斯拉和 Groq。金教授說：“如今，連蘋果都迫切希望招收我們實驗室的學生?！?/p>

TeraLab 的運營模式非同尋常。金教授認為：“靠短期的政府項目是無法中大獎的?！彼J為政府主導的研究支持實際上會限制創造力。相反，實驗室通過與企業的合作研究項目來保證研究費用，而碩博生的論文研究則專注于 HBM。在金教授辦公室外，可以看到眾多與其合作過的公司 Logo，甚至包括現代汽車。實驗室通過企業項目籌資，而論文研究則完全專注于長期的特定主題，學生獲得了企業研究環境的經驗，成為可立即投入工作的技術人才。

金教授在研究成果處理上也采取了不同的做法。他說：“HBM 能成功，是因為我們沒有執著于專利?！彼J為如果把申請專利當作目標，技術反而會受到束縛?！白尭嗳俗杂墒褂煤桶l展想法更重要。”加州大學伯克利分校發明 FinFET 技術的胡正明教授（自 2010 年以來推動半導體小型化），也因類似原因沒有為該技術申請專利。

最近，金教授對Agentic AI產生了濃厚興趣。即便離退休不遠，他仍全力投入新領域。他和學生們如今正在研究利用 Agentic AI 實現自動化的 HBM 設計。

參考：

https://www.thelec.kr/news/articleView.html?idxno=40242

https://cm.asiae.co.kr/en/article/2025091111213906379

https://tera.kaist.ac.kr/

https://www.sandisk.com/company/newsroom/blogs/2025/memory-centric-ai-sandisks-high-bandwidth-flash-will-redefine-ai-infrastructure