英偉達將用新的“LPU”芯片提升AI聊天機器人性能

英偉達將用新的“LPU”芯片提升AI聊天機器人性能
在GTC大會上，英偉達發(fā)布了Groq 3 LPU芯片，該芯片采用了AI公司Groq授權(quán)的技術(shù)。LPU是七款即將推出的數(shù)據(jù)中心芯片之一，旨在增強人工智能的能力。

為了提升聊天機器人性能，英偉達計劃推出一款新型處理器——LPU，專為運行大型語言模型（LLM）優(yōu)化。
“Nvidia Groq 3 LPU”芯片是英偉達在年度GTC大會上推介的七款即將推出的芯片之一，該大會向人工智能行業(yè)介紹了為何英偉達芯片持續(xù)領(lǐng)先。
LPU，即語言處理單元（Language Processing Unit），源自英偉達去年12月與加州一家名為Groq的人工智能公司（不要與xAI的AI聊天機器人Grok混淆）的技術(shù)授權(quán)協(xié)議。Groq成立于2016年，推出了早期專為大型語言模型設(shè)計的LPU芯片，以實現(xiàn)更快的速度和能效。目標是：打造一款能替代英偉達企業(yè)級GPU的方案，使其能夠應(yīng)用于更廣泛的AI工作負載。

英偉達現(xiàn)在希望將新發(fā)布的Groq 3 LPU與公司其他下一代AI芯片——被稱為“Vera Rubin”平臺——結(jié)合使用，其中包括即將推出的Rubin顯卡和Vera CPU技術(shù)，應(yīng)用于數(shù)據(jù)中心。

Groq的LPU芯片使用更快的SRAM（靜態(tài)RAM），而非英偉達GPU通常采用的高帶寬內(nèi)存（HBM）。但缺點是，Groq的LPU只能提供“數(shù)百兆字節(jié)”的SRAM，而HBM內(nèi)存每顆芯片可覆蓋超過100GB甚至更多。

這也是為什么單個Groq 3 LPU僅包含500MB的SRAM，而英偉達即將推出的Rubin顯卡將配備288GB的HBM4內(nèi)存。為了彌補較低的內(nèi)存容量，英偉達正準備大量銷售LPU，以與其他數(shù)據(jù)中心芯片協(xié)同工作，為AI公司提供進一步提升性能的途徑。

英偉達指出：“配備256個LPU處理器的LPX機架配備了128GB的片上SRAM和640TB/s的可擴展帶寬。與Vera Rubin NVL72（服務(wù)器單元）一同部署，Rubin GPU和LPU通過聯(lián)合計算每個輸出令牌的AI模型每一層來提升解碼能力。”

因此，數(shù)據(jù)中心可以同時利用低功率單元和英偉達的GPU，將AI工作負載分配到它們之間，以提高效率。英偉達首席執(zhí)行官黃仁森表示，這種聯(lián)合方法在幫助AI公司通過更長的提示提升性能方面表現(xiàn)出色。

根據(jù)英偉達的基準測試，LPU和Rubin顯卡結(jié)合起來，在運行擁有1萬億參數(shù)的大型語言模型時，吞吐量可提升多達35倍。

黃明明說：“我們正在生產(chǎn)Groq芯片，”并補充說它很可能會在第三季度發(fā)貨。英偉達已與三星簽約制造低功率處理器。一位分析師預(yù)計英偉達將在2026年和2027年期間出貨400萬到500萬個LPU。

新的LPU和Vera Rubin系統(tǒng)每顆芯片價格可能高達數(shù)萬美元，消費者難以負擔。相反，預(yù)計包括OpenAI、Anthropic和Meta在內(nèi)的最大AI公司將采用這些技術(shù)，這些技術(shù)可能在不久的將來為你的聊天機器人查詢或圖像生成請求提供動力。

在GTC大會上，英偉達還提到了Vera Rubin，該公司此前曾詳細介紹過它，包括今年一月的CES展會上，公司宣布Rubin芯片已進入“全面生產(chǎn)”階段。英偉達計劃在今年下半年發(fā)布與Vera Rubin相關(guān)的芯片，包括新的LPU芯片。