北京
- NVIDIA BlueField-4 為 NVIDIA 推理上下文記憶存儲平臺提供支持，這是一種專為超大規模級推理而設計的新型 AI 原生存儲基礎設施，旨在加速和擴展代理式 AI。
- 全新存儲處理器平臺專為長上下文處理的代理式 AI 系統而構建，并具備超快速的長短期記憶功能。
- 推理上下文記憶存儲平臺可擴展 AI 智能體的長期記憶，并實現了機架規模 AI 系統集群之間的高帶寬上下文共享，從而將每秒處理的 token 數量和能效提升高達 5 倍。
- 憑借 NVIDIA Spectrum-X 以太網，多輪 AI 智能體的擴展上下文記憶可提高響應速度、提高每個 GPU 的吞吐量，并支持智能體推理的高效擴展。
NVIDIA 宣布，NVIDIA BlueField?-4 數據處理器作為全棧 NVIDIA BlueField 平臺的一部分，為 NVIDIA 推理上下文記憶存儲平臺提供支持，這是一種新型 AI 原生存儲基礎設施，專為 AI 新前沿而打造。
隨著 AI 模型擴展到數萬億參數和多步驟推理，它們會生成大量的上下文數據，并以鍵值（KV）緩存表示，這對準確性、用戶體驗和連續性至關重要。
鍵值（KV）緩存無法長期存儲在 GPU 上，因為這會成為多智能體系統中實時推理的瓶頸。AI 原生應用需要一種新型的可擴展基礎設施來存儲和共享這些數據。
NVIDIA 推理上下文記憶存儲平臺通過擴展 GPU 內存容量，為上下文記憶提供基礎設施，實現跨節點的高速共享，與傳統存儲相比，可將每秒處理的 token 數量和能效提升高達 5 倍。
NVIDIA 創始人兼首席執行官黃仁勛表示：“AI 正在徹底改變整個計算堆棧，現在，存儲也加入了這場變革。AI 不再是那種單次交互的聊天機器人，而是能夠理解物理世界、進行長期推理、基于事實、使用工具完成實際工作并兼具短期和長期記憶的智能協作伙伴。借助 BlueField-4，NVIDIA 及其軟硬件合作伙伴正在為 AI 新前沿重塑存儲堆棧。”
以上為新聞摘要內容，如需閱讀新聞全文，請訪問鏈接：https://blogs.nvidia.cn/blog/nvidia-bluefield-4-powers-new-class-of-ai-native-storage-infrastructure-for-the-next-frontier-of-ai/
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
