AI大模型學會"自己算數"：Percepta團隊在大模型里造出一臺計算機

大語言模型能做奧數題，卻算不對兩位數乘法，這個尷尬局面一直是AI領域公開的秘密。2026年3月，一家名為Percepta的AI公司發布了一項讓業界矚目的研究，他們直接在Transformer的權重里"建造"了一臺計算機，不依賴任何外部工具就能執行任意C語言程序。

這項工作發布后迅速登上Hacker News首頁，收獲了超過300個贊和130多條評論，連AI領域的標桿人物Karpathy都為其點贊。

這項研究的核心思路其實不復雜。目前業界讓大模型做精確計算主要有兩條路：一是工具調用，讓模型生成代碼，再交給外部解釋器執行；二是智能體調度，通過外部狀態機把任務拆開，循環調用模型處理。
但本質上，這兩種方法都相當于給模型裝了一個"外掛"，計算并不是模型自己完成的。

Percepta團隊換了個玩法。他們在Transformer權重中實現了一套RAM計算機和WebAssembly解釋器，任何標準程序代碼都可以編譯成模型能識別的Token指令序列。

比如計算3加5，模型會先把代碼寫出來，然后切換到快速解碼模式，在Transformer內部一步步執行這個程序，把執行過程逐行輸出為Token流。

2D注意力頭：關鍵的技術突破

讓這件事變得真正可行的，是團隊在注意力機制上的創新設計。

在傳統的Transformer架構中，每生成一個Token都要對整個歷史序列做一次注意力掃描，計算成本隨序列長度線性增長。

Percepta設計了一種2D注意力頭，把每個歷史Token的Key向量設定為二維的，將注意力查詢問題轉化為計算幾何中的凸包極值查詢。

借助凸包數據結構，模型在Token生成過程中動態維護歷史Key的凸包，每一步注意力查詢只需要在凸包上進行，把計算復雜度從O(n)降到了O(log n)。

基于這個原理，團隊開發了HullKVCache緩存系統。在普通CPU上就實現了每秒31037個Token的吞吐量，約9000條指令的序列僅需1.3秒即可完成，效率比傳統KV緩存提高了近200倍。

更重要的是，這個設計完全基于標準PyTorch Transformer，不需要定制化的內核或稀疏掩碼。

實際驗證與行業反響

團隊選了兩個典型的長程精確計算任務來做驗證。

第一個是10×10最小費用完美匹配問題，模型在內部執行匈牙利算法，全程以自回歸方式生成計算軌跡，CPU上Token生成速度達到每秒33583個。

第二個是世界上最難的數獨之一，芬蘭數學家Arto Inkala設計的極難數獨。模型內部執行一個完整編譯后的數獨求解器，通過約束傳播和回溯搜索，在3分鐘內實現了100%準確的求解。
整個計算過程是透明的，每一步的嘗試，驗證、回溯都以可讀日志的形式輸出。

這項研究引發了不少討論和爭意。支持者認為，它證明了Transformer不僅僅是統計預測器，還可以成為真正的通用計算基底，未來可以作為推理加速的系統原語。

批評者則指出，博客文章缺少嚴格的基準測試和訓練細節，文本也有過度包裝的嫌疑。

不過，拋開爭論來看，這項工作確實提供了一個有意思的視角。它表明注意力機制的設計空間遠比我們以為的要大，2D注意力頭這樣看似簡單的修改就能帶來指數級的效率提升。

領導這項研究的Christos Tzamos是MIT博士，目前擔任雅典大學計算機科學副教授和Percepta的創始研究員，Percepta則是General Catalyst旗下的AI轉型公司，團隊成員來自Meta FAIR，MIT和谷歌等機構。

這項研究雖然還處于早期階段、距離實際部暑還有距離，但它開辟的方向值得關注：與其給大模型不斷加外掛，不如讓模型本身就具備精確計算的能力。
這或許是通往更強大AI系統的一條新路徑。

閱讀最新前沿科技趨勢報告，請訪問21世紀關鍵技術研究院的“未來知識庫”

未來知識庫是 “21世紀關鍵技術研究院”建 立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。

截止到2月28日 ”未來知識庫”精選的百部前沿科技趨勢報告

（加入未來知識庫，全部資料免費閱讀和下載）