Groq推理芯片成本僅為英偉達(dá)的五分之一，速度卻翻倍！

隨著人工智能計(jì)算能力的持續(xù)增長，計(jì)算基礎(chǔ)設(shè)施提供商 Nebius 的一位專家接受了 AlphaSense 的采訪，闡述了該行業(yè)的現(xiàn)狀。

盡管英偉達(dá) (NVIDIA) 的領(lǐng)先人工智能 GPU 在性能方面仍然處于行業(yè)領(lǐng)先地位，但這位專家認(rèn)為，其他替代方案正日益受到歡迎，尤其是在行業(yè)成本指標(biāo)發(fā)生變化的情況下。

此外，由于提供商可以輕松實(shí)現(xiàn) 100% 的利用率，從而降低成本并最大程度地提高投資回報(bào)，因此對人工智能計(jì)算能力的需求依然旺盛。

專家表示，隨著行業(yè)從按GPU每小時(shí)成本轉(zhuǎn)向按百萬代幣成本成本，NVIDIA芯片的替代方案越來越受歡迎。

據(jù)專家介紹，目前人工智能基礎(chǔ)設(shè)施行業(yè)的定價(jià)取決于所使用的GPU類型以及容量是預(yù)先預(yù)留還是按需使用。對于按需使用，NVIDIA的H100 GPU每小時(shí)收費(fèi)2.95美元，H200每小時(shí)收費(fèi)3.50美元，而最新的Blackwell B200每小時(shí)收費(fèi)在4.90美元到6.50美元之間。

相關(guān)報(bào)道：高通數(shù)據(jù)中心CPU傳聞來得正是時(shí)候，因?yàn)橹悄荏w人工智能正進(jìn)入超高速發(fā)展階段

但是，如果預(yù)留容量，價(jià)格就會(huì)下降。對于涵蓋一到兩年合同期限且至少需要 10,000 個(gè) GPU 的預(yù)留容量，H100、H200 和 B200 的價(jià)格分別為 1.50 美元、2.20 美元，而 B200 的價(jià)格至少為 3.50 美元。

企業(yè)轉(zhuǎn)型：為什么推理正在推動(dòng)基于令牌的定價(jià)

2025年底，英偉達(dá)宣布與芯片初創(chuàng)公司Groq達(dá)成一項(xiàng)非獨(dú)家授權(quán)協(xié)議。該協(xié)議是英偉達(dá)當(dāng)時(shí)迄今為止規(guī)模最大的一筆交易，涵蓋了Groq的人工智能推理技術(shù)。據(jù)Nebius專家稱，目前推理技術(shù)占企業(yè)工作負(fù)載總需求的90%到95%。這是因?yàn)槠髽I(yè)現(xiàn)在更多地依賴預(yù)訓(xùn)練模型或API，而不是自行開發(fā)軟件。

專家表示，人工智能基礎(chǔ)設(shè)施市場的變化不僅限于從訓(xùn)練轉(zhuǎn)向推理。另一個(gè)變化是成本結(jié)構(gòu)的轉(zhuǎn)變，以及對英偉達(dá)GPU替代芯片需求的增長。

每百萬代幣成本：NVIDIA Blackwell 與 Groq 對比分析

目前，一種新的收費(fèi)模式是按代幣或百萬代幣向用戶收費(fèi)。據(jù)了解，Groq 的芯片價(jià)格非常實(shí)惠，每百萬代幣僅需 5 到 10 美分。相比之下，NVIDIA 的 GPU 價(jià)格高出五倍，B100、B200 或 B300 的價(jià)格為每百萬代幣 25 美分。此外，Gross 的芯片不僅價(jià)格低廉，速度也更快。Nebius 的專家表示，Gross 的芯片每秒可處理高達(dá) 800 個(gè)代幣，幾乎是 NVIDIA 芯片每秒 450 個(gè)代幣的兩倍。

指標(biāo)

NVIDIA（Blackwell B200）

Groq LPU

成本（每百萬代幣）

0.25美元

0.10 美元（便宜 60%）

吞吐量（令牌/秒）

450

800

（速度提升 77%）

主要工作量

重型訓(xùn)練/企業(yè)

高速推理