HBF競爭開啟，“HBM之父”怎么看 | 筆記

HBF（高帶寬閃存）這一內(nèi)存新范式的“急先鋒”閃迪（Sandisk），正在加速中試產(chǎn)線建設(shè)，并試圖將量產(chǎn)時(shí)間表整體前移。自年初以來，它的股價(jià)已經(jīng)暴漲300%。

這家美國公司選擇了圍繞日本與韓國生態(tài)，構(gòu)建其材料、零部件和設(shè)備（MPE）供應(yīng)鏈。如果一切順利，市場將在今年下半年見到HBF原型，中試產(chǎn)線也將在年底左右開始運(yùn)行。HBF的正式商業(yè)量產(chǎn)，目標(biāo)指向了2027年。

作為一家NAND廠商，閃迪事實(shí)上錯(cuò)過了這一輪AI驅(qū)動的HBM的機(jī)遇。HBM（高帶寬內(nèi)存）通過堆疊DRAM，將帶寬推至極致，成為AI算力的“標(biāo)配”；但它的代價(jià)同樣清晰，容量受限、成本高企。而基于NAND堆疊構(gòu)建的HBF，正是為了突破這一瓶頸而誕生。

但競爭才剛剛開始。韓國巨頭SK海力士與三星正在跟進(jìn)。盡管今年2月，閃迪與SK海力士一起推動了HBF規(guī)格標(biāo)準(zhǔn)化聯(lián)盟，但這場合作更像是建立行業(yè)的“最低共識”，而非真正的協(xié)同，是“務(wù)虛”的。旨在成為“全棧AI內(nèi)存創(chuàng)造者”的SK海力士，也在獨(dú)立開發(fā)自己的HBF，與存內(nèi)處理（PIM）、計(jì)算快速鏈接（CXL）共同構(gòu)建了下一代產(chǎn)品組合。

讓我們聽聽有著“HBM之父”之稱的金正浩教授，怎么分析與預(yù)測這項(xiàng)技術(shù)的未來。正是這位來自KAIST（韓國科學(xué)技術(shù)院）的金教授，讓HBM成為了韓國AI半導(dǎo)體的代名詞。自2010年代初期起，他與他的指導(dǎo)的TeraLab（太字節(jié)互連與封裝實(shí)驗(yàn)室），便參與三星電子、SK海力士的HBM商用化研究，架起了學(xué)界與產(chǎn)業(yè)的橋梁。

2025/09/15 完整閱讀 >

也許，很快，他又將被視為“HBF之父”。去年6月，他公布了一份至2038年的HBM路線圖，其中就已經(jīng)涉及對HBF的初步設(shè)想。在今年2月，他與他的學(xué)生在一場長達(dá)6個(gè)小時(shí)的學(xué)術(shù)討論會直播中，進(jìn)一步論述了HBF技術(shù)、工作負(fù)載以及未來發(fā)展路線圖（HBF Technolgy, Workload Analysis and Roadmap）。

Transformer本質(zhì)上是一種高度“內(nèi)存依賴”的計(jì)算結(jié)構(gòu)。一方面，每生成一個(gè)token，GPU都需要從內(nèi)存中讀取歷史KV緩存和模型權(quán)重，并寫回新的狀態(tài)；另一方面，KV緩存會隨著上下文長度線性增長，并在多用戶場景下成倍疊加。因此，每秒token數(shù)（TPS）本質(zhì)上取決于內(nèi)存帶寬，上下文長度與并發(fā)用戶數(shù)最終受限于內(nèi)存容量。

當(dāng)前AI已經(jīng)開啟了一個(gè)內(nèi)存饑渴的世紀(jì)。當(dāng)下，幾乎所有關(guān)鍵技術(shù)趨勢，都指向了更高的內(nèi)存需求。這包括多模態(tài)生成與推理，個(gè)人AI（Personal AI）與個(gè)性化訓(xùn)練（Personnel training），實(shí)時(shí)訓(xùn)練（Real time training）與持續(xù)訓(xùn)練（Continuous training），智能體式AI以及智能體間交互，等等。它們本質(zhì)上都在放大系統(tǒng)需要同時(shí)處理、存儲與調(diào)度的數(shù)據(jù)規(guī)模。

多模態(tài)AI之所以迅速逼近內(nèi)存瓶頸，并不僅僅因?yàn)閿?shù)據(jù)規(guī)模因模態(tài)改變而自身在變大，更因?yàn)椤皩R”（Alignment）與“融合”（Fusion）打破了傳統(tǒng)流水線的平衡：對齊要求不同模態(tài)的數(shù)據(jù)進(jìn)入同一時(shí)間與語義坐標(biāo)系，在時(shí)間維度上引入緩存與等待，使系統(tǒng)必須保留更長上下文；融合則在計(jì)算維度引入并發(fā)訪問，使不同模態(tài)的高維特征必須同時(shí)加載與計(jì)算。

如果說過去的AI系統(tǒng)主要是對存量數(shù)據(jù)進(jìn)行推理，那么，智能體式AI的出現(xiàn)，則進(jìn)一步改變了問題的性質(zhì)。

AI不再只是“消耗數(shù)據(jù)”，而開始持續(xù)“生產(chǎn)數(shù)據(jù)”：對話、決策、視頻、環(huán)境模擬。同樣的，實(shí)時(shí)訓(xùn)練與持續(xù)訓(xùn)練，意味著系統(tǒng)不僅要讀，還要不斷寫入新的狀態(tài)與記憶。這可能是KV緩存，也可能是滯后數(shù)據(jù)（Lagging Data，即當(dāng)前推理不立即使用，但未來可能需要調(diào)用的數(shù)據(jù)）。內(nèi)存因此從“存儲器”變成“運(yùn)行時(shí)環(huán)境”，容量與帶寬的重要性被同時(shí)放大。

繼續(xù)堆HBM，是一條看起來最自然的路，但也是一條越來越走不動的路。每往上增加堆疊一層DRAM，都會同時(shí)放大散熱、封裝與功耗問題。這是一條“邊際收益遞減”的路徑。相比之下，堆疊NAND是更有擴(kuò)展空間的選擇。

HBF的本質(zhì)就是NAND的“垂直堆疊能力”。在相當(dāng)長一段時(shí)間內(nèi)，它甚至不需要全新的技術(shù)體系，而是可以復(fù)用已有的3D NAND與封裝工藝。

在早期階段，在單顆已經(jīng)具備百層結(jié)構(gòu)的NAND裸片（die）之上，繼續(xù)進(jìn)行芯片級堆疊，將多個(gè)die疊加至十余層，從而把存儲密度從“百層”放大到“數(shù)千層”；長遠(yuǎn)來看，控制與外圍電路被整體遷移至基礎(chǔ)裸片（base die），上層只保留純粹的存儲單元，使堆疊從“堆芯片”演進(jìn)為“堆單元”，層數(shù)由此邁向“萬級”。在這個(gè)過程中，通過引入TSV等在HBM領(lǐng)域已經(jīng)相當(dāng)成熟的垂直互連技術(shù)，補(bǔ)齊帶寬，HBF才真正從“超大容量存儲”，變成既能“裝得下”，也能“讀得出”的AI內(nèi)存。

基于這些技術(shù)儲備，HBF在2027年左右發(fā)布，在2028年實(shí)現(xiàn)商業(yè)化的可能性非常大。

在AI基礎(chǔ)設(shè)施中引入HBF，可以演化出多種架構(gòu)路徑，它們也可以同時(shí)存在。這些路徑既取決于具體應(yīng)用場景與成本約束，也取決于封裝、互連與存儲技術(shù)的演進(jìn)節(jié)奏。

第一種架構(gòu)（下圖的HBF1 Architecture ，以下略稱為HBF1等），本質(zhì)上是將Transformer的編碼與解碼在硬件上解耦。前者由一顆輕量GPU負(fù)責(zé)，依賴GDDR即可完成計(jì)算，后者則由另一顆GPU主導(dǎo)，并配備大容量HBF。HBM被完全拋棄了，以較低成本實(shí)現(xiàn)對長上下文、多模態(tài)輸出場景的支持。第二種架構(gòu)（HBF2）則是在同一GPU兩側(cè)同時(shí)部署HBM與HBF，其中，HBM主要服務(wù)于模型權(quán)重與高帶寬計(jì)算，而HBF則承載規(guī)模迅速膨脹的KV緩存與長上下文狀態(tài)。這能兼顧模型規(guī)模與成本。

最關(guān)鍵、最有產(chǎn)業(yè)意義的一種架構(gòu)（HBF3），是在GPU兩側(cè)同時(shí)堆疊HBM與HBF。在這個(gè)階段，整個(gè)AI系統(tǒng)開始真正圍繞內(nèi)存重構(gòu)。如果HBF仍然不夠用，就可以再增加HBF插座（HBF socket），真正的AI智能體時(shí)代將在這個(gè)時(shí)刻（HBF4）開啟。這也是為什么HBF將比HBM具有更大的可擴(kuò)展性，需求會大幅增加的架構(gòu)基礎(chǔ)。金教授預(yù)測，到2038年，市場對HBF的需求，最終將超過HBM。

此外，市場上還會存在，在HBF外圍再接入SSD硬盤，或英偉達(dá)ICMS（推理上下文內(nèi)存存儲平臺）的其他不同架構(gòu)。在問答環(huán)節(jié)，金教授將英偉達(dá)今年CES上推出的這個(gè)全新的AI原生存儲基礎(chǔ)設(shè)施，形容為“沒有牙齒只能嚼口香糖”的無奈之舉，最終接受HBF“只是時(shí)間問題”。

為什么HBM與HBF融合的架構(gòu)更具產(chǎn)業(yè)意義？答案不只是“更大的內(nèi)存”，而在于它正在把內(nèi)存從計(jì)算的附屬，變?yōu)橛?jì)算與網(wǎng)絡(luò)的中心節(jié)點(diǎn)。正如HBM已經(jīng)走向定制化，HBF也將沿著同一路徑演進(jìn)：其基礎(chǔ)裸片將集成D2D通信、電源與內(nèi)存控制，甚至部分邏輯更新功能。一部分原本屬于GPU的職責(zé)，將開始向內(nèi)存?zhèn)冗w移。

隨著內(nèi)存逐步演化為具備控制、互連乃至計(jì)算能力的“類SoC結(jié)構(gòu)”，其制造難度正迅速逼近邏輯芯片。瓶頸不再只是存儲單元，而是轉(zhuǎn)向基礎(chǔ)裸片與先進(jìn)封裝工藝本身。同時(shí)，隨著HBF在物理空間上的持續(xù)擴(kuò)展，傳統(tǒng)硅中介層在尺寸、成本與良率上的約束日益顯現(xiàn)，迫使行業(yè)開始探索包括玻璃中介層在內(nèi)的新路徑，盡管其大規(guī)模商業(yè)化仍充滿挑戰(zhàn)。

更深層的約束來自物理本身。每增加一層存儲，就必須引入更多供電與散熱通道，而這些通道同樣占據(jù)面積；TSV也不再只是“連接”，而成為復(fù)雜的電磁與熱系統(tǒng)，抖動與串?dāng)_開始反過來吞噬帶寬。

與此同時(shí)，HBF從“冷存儲”走向“可參與計(jì)算的數(shù)據(jù)層”，其最大的技術(shù)挑戰(zhàn)之一，是改寫NAND的寫入壽命曲線。NAND的“寫入次數(shù)”與“數(shù)據(jù)保留時(shí)間”此消彼長。在傳統(tǒng)NAND的設(shè)計(jì)中，為了長期保存數(shù)據(jù)，犧牲寫入耐久。而HBF必須結(jié)合推理與訓(xùn)練的實(shí)際需求，主動適度縮短數(shù)據(jù)保留時(shí)間，以換取寫入耐久與訪問頻率的數(shù)量級的提升。只有從當(dāng)前約10萬次，提升至100萬甚至1000萬次，才具備現(xiàn)實(shí)意義。

這也意味著，從材料到架構(gòu)，閃存本身都可能被重新定義。無論是閃迪率先突圍，還是SK海力士與三星延續(xù)統(tǒng)治，抑或中國廠商實(shí)現(xiàn)彎道超車。真正的技術(shù)分野，也將從這些真正的挑戰(zhàn)開始。

直播視頻與演示報(bào)告：

https://tera.kaist.ac.kr/home