HBF，再曝新進(jìn)展

公眾號(hào)記得加星標(biāo)??，第一時(shí)間看推送不會(huì)錯(cuò)過。

HBF采用多層3D NAND芯片堆疊技術(shù)，與HBM互補(bǔ)，用于GPU。

• HBF 的容量是 HBM 的十倍，但速度卻比 DRAM 慢。

• GPU 將通過分層 HBM-HBF 內(nèi)存訪問更大的數(shù)據(jù)集

• HBF的寫入操作受到限制，因此軟件需要專注于讀取操作。

人工智能工作負(fù)載的爆炸式增長給內(nèi)存系統(tǒng)帶來了前所未有的壓力，迫使企業(yè)重新思考如何向加速器提供數(shù)據(jù)。

高帶寬內(nèi)存 (HBM) 已用作 GPU 的快速緩存，使AI 工具能夠高效地讀取和處理鍵值 (KV) 數(shù)據(jù)。

然而，HBM 價(jià)格昂貴、速度快、容量有限，而高帶寬閃存 (HBF) 則以較慢的速度提供更大的容量。

HBF 如何與 HBM 互補(bǔ)

HBF 的設(shè)計(jì)允許GPU訪問更廣泛的數(shù)據(jù)集，同時(shí)限制寫入次數(shù)（每個(gè)模塊大約 100,000 次），這就需要軟件優(yōu)先處理讀取操作而不是寫入操作。

HBF 將與 HBM 集成到 AI 加速器附近，形成分層內(nèi)存架構(gòu)。

韓國科學(xué)技術(shù)院 (KAIST) 的金鐘浩教授將 HBM 比作家里的書架，方便快速學(xué)習(xí)；而 HBF 則像一個(gè)圖書館，內(nèi)容更豐富，但訪問速度較慢。

金教授說：“GPU要執(zhí)行AI推理，必須從HBM讀取稱為KV緩存的可變數(shù)據(jù)。然后，它會(huì)解釋這些數(shù)據(jù)并逐字輸出，我認(rèn)為它會(huì)利用HBF來完成這項(xiàng)任務(wù)。”

“HBM速度很快，HBF速度很慢，但容量大約是HBM的10倍。然而，雖然HBF的讀取次數(shù)沒有限制，但寫入次數(shù)卻有限制，大約為10萬次。因此，OpenAI或Google在編寫程序時(shí)，需要調(diào)整軟件結(jié)構(gòu)，使其專注于讀取操作。”

HBF 預(yù)計(jì)將隨 HBM6 一起首次亮相，其中多個(gè) HBM 堆棧在網(wǎng)絡(luò)中互連，從而提高帶寬和容量。

該概念設(shè)想未來的迭代產(chǎn)品（如 HBM7）可以作為“內(nèi)存工廠”運(yùn)行，數(shù)據(jù)可以直接從 HBF 進(jìn)行處理，而無需通過傳統(tǒng)的存儲(chǔ)網(wǎng)絡(luò)。

HBF 將多個(gè) 3D NAND 芯片垂直堆疊，類似于 HBM 將 DRAM 堆疊，并通過硅通孔 (TSV) 將它們連接起來。

單個(gè) HBF 單元的容量可達(dá) 512GB，帶寬可達(dá) 1.638TBps，遠(yuǎn)遠(yuǎn)超過標(biāo)準(zhǔn) SSD NVMe PCIe 4.0 的速度。

SK 海力士和閃迪展示了圖表，顯示上層 NAND 層通過 TSV 連接到基礎(chǔ)邏輯芯片，形成功能堆疊。

HBF 芯片原型需要精心制造，以避免底層出現(xiàn)翹曲，而額外的 NAND 堆疊會(huì)進(jìn)一步增加 TSV 連接的復(fù)雜性。

三星電子和閃迪計(jì)劃在未來 24 個(gè)月內(nèi)將 HBF 集成到英偉達(dá)、AMD和谷歌的 AI 產(chǎn)品中。

SK海力士將于本月晚些時(shí)候發(fā)布原型產(chǎn)品，同時(shí)各公司也在通過一個(gè)聯(lián)盟開展標(biāo)準(zhǔn)化工作。

HBF 的普及預(yù)計(jì)將在 HBM6 時(shí)代加速，鎧俠（Kioxia）已經(jīng)研發(fā)出一款采用 PCIe Gen 6 x8 接口、傳輸速率為 64Gbps 的 5TB HBF 模塊原型。金教授預(yù)測(cè)，到 2038 年，HBF 市場(chǎng)規(guī)模可能會(huì)超過 HBM。

https://www.techradar.com/pro/samsung-and-sandisk-are-set-to-integrate-rival-hbf-technology-into-ai-products-from-nvidia-amd-and-google-within-24-months-and-thats-a-huge-deal

（來源：編譯自techrader）

*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個(gè)人觀點(diǎn)，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀點(diǎn)，不代表半導(dǎo)體行業(yè)觀察對(duì)該觀點(diǎn)贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。

今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4297期內(nèi)容，歡迎關(guān)注。

加星標(biāo)??第一時(shí)間看推送

求推薦