![]()
芯東西(公眾號:aichip001)
作者 ZeR0
編輯 漠影
芯東西10月28日報道,昨夜,高通發布面向數據中心的下一代AI推理優化解決方案,包括基于云端AI芯片Qualcomm AI200和AI250的加速卡及機架。
兩款芯片均采用高通Hexagon NPU,預計將分別于2026年和2027年實現商用。
高通稱,憑借該公司在NPU技術方面的優勢,這些解決方案可提供機架級性能和出色的內存容量,以高性價比實現快速的生成式AI推理,有助于實現可擴展、高效且靈活的生成式AI。
沙特支持的AI創企Humain將從2026年開始部署200兆瓦的高通新型AI機架。
受此消息影響,高通股價飆升11%。
![]()
Qualcomm AI200推出一款專用機架級AI推理解決方案,旨在為大語言模型和多模態模型(LLM、LMM)推理及其他AI工作負載提供更高的內存容量、更低的總擁有成本(TCO)和優化的性能,支持每卡768GB LPDDR。
Qualcomm AI250解決方案將首次采用基于近存計算的創新內存架構,通過提供超過10倍的有效內存帶寬和更低的功耗,不僅支持分解式AI推理,還能高效利用硬件資源,同時滿足客戶對性能和成本的要求。
兩種機架解決方案均采用直接液冷以提高熱效率,采用PCIe進行縱向擴展,采用以太網進行橫向擴展,采用機密計算以確保安全的AI工作負載,機架級功耗為160kW。
![]()
這些解決方案都具有豐富的軟件棧和與AI框架的無縫兼容性,使企業和開發人員能夠跨數據中心部署安全、可擴展的生成式AI。
其AI軟件棧端到端覆蓋從應用層到系統軟件層,并針對AI推理進行了優化。開發者可通過高通的Efficient Transformers Library和高通AI推理套件,獲得無縫模型導入和Hugging Face模型的一鍵部署。
高通高級副總裁兼技術規劃、邊緣解決方案和數據中心總經理Durga Malladi稱,憑借Qualcomm AI200和AI250,高通正在重新定義機架級AI推理的可能性。
Malladi還透露,高通將單獨出售其AI芯片和其他部件,尤其是針對那些喜歡自行設計機架的超大規模數據中心客戶。其他AI芯片公司也可能成為高通部分數據中心部件(如CPU)的客戶。
高通數據中心路線圖每年更新一次,聚焦實現業界領先的AI推理性能、能效和業界領先的TCO。
近年來,高通努力擺脫對智能手機市場的依賴,將業務拓展至PC和汽車市場,如今又向廣闊的數據中心市場發起進攻。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.