GPU要涼？前英偉達AMD大神將AI刻在芯片上！17000 tokens/秒屠榜

新智元報道

編輯：定慧

【新智元導讀】在這個所有科技巨頭都在為英偉達的高端GPU搶破頭的時代，一家成立不到三年的多倫多小廠Taalas，突然朝著整個行業(yè)扔出了一顆反常識的「深水炸彈」：他們拋棄了液冷，拋棄了昂貴的HBM顯存，甚至拋棄了「通用計算」，選擇了一種最粗暴、最狂野的物理美學：直接把大模型焊死在芯片里！

今天是大年初六，年還沒過完。但有一個新聞卻淹沒在各種消息中。

這可能是今年最重要的AI新聞，但現(xiàn)在依然還沒什么人聊！

這兩天，一家成立不到三年的多倫多芯片公司Taalas扔下了一顆核彈：

他們繞開了所有熱門概念，直接把AI大模型，物理焊死在芯片里！

這家公司開發(fā)的HC1芯片，運行Llama 3.1 8B的速度達到了極度恐怖的17,000tokens/秒。

作為對比，目前業(yè)界最快Cerebras跑同等模型，速度也不過兩千。

Taalas HC1硬生生將速度拔高了將近10倍！

而和英偉達最先進B200，提高了近50倍！

他們還上線了一個體驗網(wǎng)站：chatjimmy.ai

這個AI的速度有多離譜呢？可以看看下面的速度。

這個AI不是在回復，而是直接未卜先知把答案砸在你的臉上。

這還不算完，除了「光速」輸出Token以外。

Taalas如何解決散熱和傳輸速度問題？

他們交出的答卷是：拋棄液冷！拋棄HBM顯存！

因為沒有復雜的存儲層級，HC1的成本只有傳統(tǒng)方案的1/20，功耗更是直接縮減到1/10，十張卡加起來僅僅需要2.5千瓦的空氣冷卻。

官方博客：https://taalas.com/the-path-to-ubiquitous-ai/

在這塊主打「復古暴力」的芯片里，它出廠時的命運就被永遠鎖死——它的晶體管只為Llama 3.1 8B的權重而生，這輩子只能跑這一個模型。

一時間，X上徹底炸鍋了！

「等待LLM思考」的時代宣告終結。

有測試者滿臉震撼：

「你敲下回車的瞬間，答案就像預謀已久一樣撲在屏幕上，那根本不是秒回，那是啪地一下砸你臉上！」

有網(wǎng)友發(fā)出了絕望的哀嘆：「人類該怎么跟得上這種速度？」

另一位網(wǎng)友的回答則更加冷酷：「尊敬的先生，我們不可能跟得上?！?/p>

但反方意見同樣明確。

首先就是，雖然速度達到「光速」，但是小模型帶來的幻覺問題無法避免。

甚至無法正確計算簡單的加減乘除。

而且按照現(xiàn)在的模型的迭代速度。

在一個物理實體上固化一個即將被淘汰的模型，真的有用么？

也有樂觀者認為，這可能確實是未來的一種方向，因為這種Token的輸出速度，并不是給人類準備的。

而是讓智能體之間相互對話使用的。

所以，Taalas這條所謂的物理實體AI之路是否真的能走通？

暴力美學vs極致封印：AI的兩條路線之爭

要看懂這場「豪賭」的意義，我們必須回顧一下芯片的發(fā)展史。

過去三十年，無論是CPU還是GPU，甚至是后來的各種AI加速器，整個硅谷都在瘋狂追求同一件事：「造一個通用的計算平臺」。

我們在造一個巨大的舞臺，然后讓不同的軟件在上面跳舞。

這就形成了一個絕對的物理硬邊界：「內(nèi)存墻」。

內(nèi)存墻通常是指處理器速度和內(nèi)存帶寬之間不斷擴大的差距

當模型膨脹到幾百億、上千億參數(shù)，你為了算一次乘法，每次都要把海量數(shù)據(jù)從顯存搬到計算單元。

這個「搬磚」過程消耗的能量和時間，早就遠遠超過了計算本身。

Taalas團隊的思路簡直是「反向升級」：

既然這個舞臺每天都只演《羅密歐與朱麗葉》，我們?yōu)槭裁匆M勁巴拉地每天搬布景？直接把布景用水泥砌死在臺上不就行了！

在這塊HC1芯片里，模型的每一個權重，都對應著芯片上特定的晶體管。

矩陣乘法根本不需要軟件去調(diào)度，而是通過物理電路的電流直接完成！

你可以把傳統(tǒng)的GPU理解為「交響樂團現(xiàn)場演奏」，每次運行都要調(diào)配樂手、看曲譜、聽指揮；

那么Taalas的做法就是直接刻了一張「黑膠唱片」。

你把Llama模型錄死在磁帶上，插上電就能播，而且是以一種摧枯拉朽的倍速在狂飆。

但，一切命運的饋贈，都在暗中早就標好了價格！

這也意味著，只要這塊芯片一出廠，它的命運就已經(jīng)被徹底鎖死。

它無法微調(diào)，無法更換模型，更無法升級。

如果明年Meta發(fā)布了Llama 4，或者你發(fā)現(xiàn)這個8B模型在特定業(yè)務里太卡智商，這塊滿載尖端科技的硅片，瞬間就會淪為精美的電子垃圾。

在這個所有巨頭都在拼命炫耀自家新模型多聰明的時代，主動把自己鎖死在一個固定的歷史版本上，這到底是逆天改命，還是飲鴆止渴？

路線大分裂與人腦的奇妙隱喻

事實上，這種極盡專用的思路，背后牽扯出的是一場硅谷頂級大佬的路線大決裂。

Taalas的CEO Ljubisa Bajic曾在AMD、英偉達擔任骨干架構師，也是明星AI芯片公司Tenstorrent的創(chuàng)始人。

2022年，「芯片之神」Jim Keller（「硅仙人」）加入Tenstorrent，Jim Keller 不僅為該公司提供了第一筆資金，后來更直接加入公司擔任CTO，并于2023年與Ljubisa Bajic互換角色出任CEO。

Ljubisa在2023年4月宣布從Tenstorrent的日常管理崗位「退休」并轉任顧問，其實是為了追求一個更激進、更極端的計算夢想。

他隨后創(chuàng)辦了新公司Taalas。

Jim Keller的畢生信仰，是做一個通用的、可編程的、軟件友好的完美平臺。

擴展閱讀：英偉達親手終結CUDA「護城河」？傳奇芯片架構師引發(fā)爭議

而Ljubisa則決絕地走向了另一個極端——

絕對的極繁固化，換取絕對的極簡自由。

對于這種把AI模型做成ASIC（專用集成電路）的做法，網(wǎng)上的評價兩極分化。

有人嘲諷「流片貴得嚇人，模型一更新舊卡就炸死路一條」，但也有極其敏銳的觀察者，將它與人類大腦的運行機制，產(chǎn)生了深度的共振。

X上一條高贊評論直指靈魂：

「哈佛和谷歌耗盡資源，花了十年時間，才勉強繪制出1立方毫米、比米粒還小的人腦圖譜。這背后的數(shù)學復雜度和能效比，足以讓地球上所有的AI實驗室集體汗顏?！?/strong>

人類大腦那種不可思議的精密和低功耗，本質(zhì)上不就是一種長在肉體上的「硬件固化」嗎？

且人腦的運算雖然精妙，但光論「生成代碼」和「吐詞」的速度，可遠沒有這類新硬件這般快如閃電。

另一位網(wǎng)友的一席話更讓人破防：

「其實大部分人類，一輩子也就說一種語言、做著一份固定的職業(yè)。

這和大腦里刻死了一個模型有什么區(qū)別？」

一語驚醒夢中人。

我們并非在所有的場景里，都需要一個通曉天文地理、能寫詩能解微分方程的「全知全能神」。

在海量的垂直場景里——比如一個需要毫秒級響應的語音助手，流水線上的自動化數(shù)據(jù)標注，甚至是你家里每天只懂避障的掃地機。

它們根本不在乎你是GPT-6還是Claude 5，它們需要的僅僅是像一顆釘子一樣，用光速和最低廉的成本，把手頭那件事干到極致。

這時候，一個極其便宜、永遠不需要換代的「電子牛馬」芯片，就足夠了。

也許這就是AI走向物理世界的終極兩極分化：

一部分化作云端龐大而昂貴的通用神靈；

而另一部分，則被死死刻進硅晶體里，化作數(shù)以百億計的廉價、極速的工匠，滲透進人類生活的每一個毛孔。

Taalas這步險棋，可能成為技術史上一次昂貴而有趣的注腳，但也極有可能，正在砸開一扇用「零延遲」統(tǒng)治未來的大門。

無論怎樣，17,000 tokens/秒的兇獸已經(jīng)出籠。

在絕對的速度和暴力成本面前，傳統(tǒng)的AI硬件法則，已經(jīng)出現(xiàn)了一道刺眼的裂痕。

你認為人類的科技樹，應該點在哪里？

參考資料：

https://x.com/wildmindai/status/2024810128487096357

https://x.com/ai_for_success/status/2025239027490971681