- NVIDIA BlueField-4 為 NVIDIA 推理上下文記憶存儲平臺提供支持,這是一種專為超大規(guī)模級推理而設(shè)計的新型 AI 原生存儲基礎(chǔ)設(shè)施,旨在加速和擴(kuò)展代理式 AI。
- 全新存儲處理器平臺專為長上下文處理的代理式 AI 系統(tǒng)而構(gòu)建,并具備超快速的長短期記憶功能。
- 推理上下文記憶存儲平臺可擴(kuò)展 AI 智能體的長期記憶,并實(shí)現(xiàn)了機(jī)架規(guī)模 AI 系統(tǒng)集群之間的高帶寬上下文共享,從而將每秒處理的 token 數(shù)量和能效提升高達(dá) 5 倍。
- 憑借 NVIDIA Spectrum-X 以太網(wǎng),多輪 AI 智能體的擴(kuò)展上下文記憶可提高響應(yīng)速度、提高每個 GPU 的吞吐量,并支持智能體推理的高效擴(kuò)展。
![]()
NVIDIA 宣布,NVIDIA BlueField?-4 數(shù)據(jù)處理器作為全棧 NVIDIA BlueField 平臺的一部分,為 NVIDIA 推理上下文記憶存儲平臺提供支持,這是一種新型 AI 原生存儲基礎(chǔ)設(shè)施,專為 AI 新前沿而打造。
隨著 AI 模型擴(kuò)展到數(shù)萬億參數(shù)和多步驟推理,它們會生成大量的上下文數(shù)據(jù),并以鍵值(KV)緩存表示,這對準(zhǔn)確性、用戶體驗(yàn)和連續(xù)性至關(guān)重要。
鍵值(KV)緩存無法長期存儲在 GPU 上,因?yàn)檫@會成為多智能體系統(tǒng)中實(shí)時推理的瓶頸。AI 原生應(yīng)用需要一種新型的可擴(kuò)展基礎(chǔ)設(shè)施來存儲和共享這些數(shù)據(jù)。
NVIDIA 推理上下文記憶存儲平臺通過擴(kuò)展 GPU 內(nèi)存容量,為上下文記憶提供基礎(chǔ)設(shè)施,實(shí)現(xiàn)跨節(jié)點(diǎn)的高速共享,與傳統(tǒng)存儲相比,可將每秒處理的 token 數(shù)量和能效提升高達(dá) 5 倍。
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示:“AI 正在徹底改變整個計算堆棧,現(xiàn)在,存儲也加入了這場變革。AI 不再是那種單次交互的聊天機(jī)器人,而是能夠理解物理世界、進(jìn)行長期推理、基于事實(shí)、使用工具完成實(shí)際工作并兼具短期和長期記憶的智能協(xié)作伙伴。借助 BlueField-4,NVIDIA 及其軟硬件合作伙伴正在為 AI 新前沿重塑存儲堆棧。”
以上為新聞?wù)獌?nèi)容,如需閱讀新聞全文,請?jiān)L問鏈接:https://blogs.nvidia.cn/blog/nvidia-bluefield-4-powers-new-class-of-ai-native-storage-infrastructure-for-the-next-frontier-of-ai/
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.