“邪修”AI芯片的Taalas，成色如何？｜AGI焦點

圖片來自Taalas官網

打著“顛覆英偉達”的旗號的公司，總是會接二連三涌現。

最近，一家來自加拿大多倫多的芯片“小廠”Taalas引起了AI圈關注。有聲音認為，它很可能撬動英偉達主宰了多年的AI芯片市場。

當地時間2月20日，成立于2023年的初創公司Taalas發布了首款產品Taalas HC1芯片，專為Llama 3.1 8B模型優化，采用30芯片集群時實現每秒12000 tokens的推理速度，較傳統GPU方案提升50倍能效。

Taalas稱，公司通過結構化ASIC技術將芯片定制周期縮短至兩個月，已累計融資2.19億美元。24名敬業的員工的努力，投入3000萬美元，打造出了這款擁有“極致的專業化、速度和能源效率”的產品。

Taalas創始人兼CEO是曾任AMD架構師的業界傳奇人物柳比沙·巴伊奇（Ljubi?a Baji?）。

在公司官網的介紹文章中，巴伊奇稱，這款芯片選擇了Meta公司2024年7月推出的開源大模型Llama 3.1 8B作為運行平臺，峰值推理速度接近17000 tokens/秒，比目前市場中最先進的技術快近10倍，構建成本降低到原來的1/20，功耗降低至原來的1/10。

截圖來自社交平臺X

巴伊奇給出了一組測試數據，Taalas自己在Llama 3.1 8B上測試了英偉達的主力產品H200和B200，結果為230 tokens/秒和353 tokens/秒，而Taalas的HC1性能是它們的48倍。

此前這一數據，是由獨立分析平臺Artificial Analysis測出的最高值，來自剛剛完成H輪融資、估值230億美元的Cerebras，為1981 tokens/秒，也僅為HC1的11%。

在實測演示中，大模型對用戶問題的詳細解答，達到甚至超越了“秒回”的水平。

不過，AI在大量回復的一瞬間，人類對話者也產生了撲面而來的壓迫感。

圖片來自Taalas官網

這一堪稱“突破極限”的表現，果不其然引起了大量的討論。大呼“顛覆將至”者有之，質疑其言過其實、過度營銷者亦有之。

令我們好奇的是，在喧囂背后，Taalas的技術和產品究竟有何特殊之處？又是否當得起其自稱的“世界上速度最快、成本和功耗最低的推理平臺”呢？

將模型直接“刻”在芯片上

在研究了其首款產品HC1的相關公開信息之后，我們發現，Taalas的技術路線，與目前市場主流的ASIC路線相比，極具顛覆性，堪稱“邪修版”ASIC。

與英偉達和AMD代表的業界主流GPU通用計算技術路線不同，Taalas更接近ASIC（專用集成電路）路線。

這一技術路線通過為特定應用場景定制硬件設計，以追求極致能效和成本效益。雖然它的適用性、功能豐富度、可互換性，遠低于能覆蓋多場景的GPU，但自去年以來，以谷歌TPU為首，ASIC技術擁有成本（TCO）低、打造大模型能力毫不遜色等特點，得到了市場認可，出貨量大幅提升。

野村證券預測，2026年，ASIC芯片的總出貨量可能會首次超過GPU。而在GPU市場處于兩巨頭壟斷的情況下，大多數芯片初創也都選擇了ASIC路線，包括市場知名度較高的Cerebras、SambaNova，以及，此前剛剛被英偉達將核心團隊納入囊中的Groq。

巴伊奇在AMD和英偉達都有任職經歷，之前還創立了一家專注于AI芯片研發的獨角獸Tenstorrent公司。Tenstorrent通過開源RISC-V架構和軟硬件協同設計，降低AI計算成本。

而“挑戰英偉達壟斷地位”，一直是巴伊奇所宣揚的核心理念，也是Tenstorrent公司備受關注的“招牌”標簽。

不過，英偉達的發展，要遠好于AMD及各類AI芯片初創公司，巴伊奇也在探索中有了更“極端”的設想。

2022年至2023年間，巴伊奇逐漸脫離了此前工作，開始籌劃創辦Taalas。他與他的妻子、曾在AMD任系統工程高級經理萊拉·巴伊奇（Lejla Bajic），以及，曾任AMD高級設計工程師并在Tenstorrent擔任過ASIC設計總監的德拉貢·伊格納托維奇（Drago Ignjatovic）成為了Taalas聯合創始人。

Taalas公司20余人的核心工程師團隊，多數來自AMD、蘋果、谷歌、英偉達和TensorRent。

2024年，Taalas公司完成5000萬美元的首輪融資，并正式出現在公眾視野。

巴伊奇強調，Taalas致力于解決AI發展面臨的兩大障礙——“高延遲”和“天文數字般的算力成本”，并提出“單芯片性能超越小型GPU數據中心”這一極具野心，甚至顯得有些“狂妄”的目標。

資本市場為巴伊奇的野心投票。截至目前，Taalas目前已完成三輪融資，總額超過2億美元。

Taalas奉行“The Model is The Computer”（這句話也是公司的slogan），可以理解為，將傳統“在計算設備上運行模型”的范式，轉變為“模型本身成為計算設備”。

技術實現路徑上，Taalas提出“無需軟件，直接將模型刻在芯片上”，這與傳統的ASIC芯片仍需使用軟件，通過編譯過程將軟件代碼轉化為芯片指令不同。

Taalas通過EDA（電子設計自動化）流程，將特定大模型直接轉化為定制芯片。

也就是說，每款使用Taalas的大模型，都會擁有專屬于自身的定制芯片，實現巴伊奇所說的“完全專業化”（Total specialization）。

與此同時，算力也擺脫了軟件束縛和編譯過程，數據幾乎不需要在內存和計算單元之間移動，“內存墻”由此消失，推理成本隨之大幅降低，推理速度則顯著提升。

截圖來自社交平臺X

目前來看，Taalas的主要業務操作流程也比較簡單。大致是客戶向Taalas提供自身所需的模型，Taalas在一周內將其轉化為電路設計，通過臺積電代工在兩個月內交付專屬芯片。

可想而知，如果Taalas能為每個主流模型，都提供出類似HC1在Llama 3.1 8B上那樣的性能飛躍，那么，各大廠商很可能會對其產品趨之若鶩。

實際上，包括獨立人工智能研究員本杰明·馬里（Benjamin Marie）、Devtools創業顧問肖恩·王（swyx）等產業界人士和The Next Platform記者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）等媒體人士，都已在積極介紹Taalas的新產品，看好其前景者不在少數。

Taalas的死穴在哪？

不過，在輿論熱度落地到商用市場之前，Taalas還有很多問題需要被看到。

首先，Taalas需要面對的是，其產品能否適用更先進、大規模的模型。

2024年，Meta推出Llama 3.1時，發布了8B、70B和405B三種參數規模版本，Taalas選用的是最小的8B。

很顯然，在目前大模型進化速度極快、規模越來越大的背景下，Taalas的產品能否匹配，是否面臨明顯“天花板”，都是必須解決的問題。

巴伊奇稱，公司將在今年春季推出一款適用中等規模推理模型的產品，屆時表現如何，值得關注。

與此相關的，目前測評體驗中，不少質疑聲音集中在，Taalas讓本已不算聰明的Llama變得“更笨了”。

一些用戶發帖稱，HC1“幻覺嚴重”“答案明顯錯誤，質量遠低于同參數GPU版”，“回答速度快但錯得也快”，其實用性不佳。

截圖來自社交平臺X

實際上，對于如何理解Taalas給出的測試數據，也有較多質疑聲音。

一位關注芯片產業的愛好者對作者表示，Taalas相當于內置了問題的答案，所以，計算速度“秒殺”英偉達等一眾業界翹楚，但是，將”1+1=2”的問題換為“2*2=？”，它的表現可能就會“掉鏈子”。

Taalas能在極其有限的特定場景下“秒殺英偉達”，但目前其他英偉達能做的事，對于Taalas來說可能更難。

更為關鍵的問題是，Taalas能否跟得上大模型的迭代周期。

一位半導體行業從業者對作者表示，Taalas的芯片“表現很牛，但目前可能沒啥大的用處”，因為大模型還在不停迭代，而Taalas的迭代能力和速度成疑。

該行業人士認為，“要等以后大模型達到某個層級不再大規模、快速迭代了，這種芯片才能有更大舞臺”。

而在社交平臺上的討論中，不少質疑集中在HC1“模型鎖定”的“只讀”模式導致的“過時”和“廢棄”風險，并認為這是其商業化、規模化的重大阻礙。

目前，一款頂尖大模型能保持領先優勢的時間窗口不過月余，而Taalas交付芯片（而非量產）即使已經很快，但也需要至少兩個月。

改寫AI芯片規則的未來已來

支持HC1進步性的聲音也不在少數。

在知乎的相關討論中，中國科學院計算技術研究所副研究員趙永威指出，雖然Taalas“目前的狀況還沒有應用價值”，但不妨礙它會成為“一顆有歷史意義的芯片”。

他認為，這種“硬連線”的模式，是未來芯片發展的一大趨勢，目前的質疑由Taalas來扛，后來者在推廣相關概念時就會更加輕松。他也透露，自己所在單位也在研究類似技術路線，并提到，降低經濟成本，既是相關路線的研究目標，也應該是宣傳發力點所在。

知名科技記者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）在文章中提到，Taalas確實需要模型的每一次更新中重新設計芯片，但其在推理引擎上蝕刻新模型，只需要更改設計中的兩層金屬，而不是完全廢棄。考慮到訓練模型的成本高達數十億美元，Taalas芯片的更新成本微不足道。

摩根認為，在主要模型發布間隔時間延長，人們對成熟模型依賴度增加時，Taalas芯片有望贏得更廣泛的市場認可。

也有一些分析稱，得益于低延遲、低功耗的特性，Taalas真正的用武之地或在于邊緣推理場景，比如，機器人、自動駕駛汽車，甚至高端智能手機等設備中。這些設備不需要運行所有模型，只需要穩定運行定制化的模型，而更快的速度和更低的消耗，顯然更有利于產業普及AI大模型。

不過，即便是相關產品能真正規模化地進入市場并大展拳腳，新的狀況和問題也會隨之浮現。

比如，大模型的底層架構（Transformer）是否會遭遇另一場“革命”？這似乎決定著“模型即芯片”技術路線的命運。還有，生態系統建設的問題，英偉達雖然是硬件公司，但CUDA軟件生態和開發者的重度依賴，才是其真正的護城河，而這也是Taalas看中且有意顛覆的。

但這些都是后話了，至少目前來看，Taalas距離英偉達還很遙遠，更遑論“顛覆英偉達”了。然而，巴伊奇在這條路上依舊步履不停，Taalas宣布，計劃在今年冬季推出第二代HC2產品，將具備更快的執行速度和更強的性能。

屆時，一代產品的市場反饋和二代產品的迭代效果，將進一步驗證今天各方對這股橫空出世的新勢力的判斷。（作者｜胡珈萌，編輯｜李程程）