![]()
智東西
作者 陳駿達
編輯 李水青
谷歌干崩內存股的論文,竟被曝出學術不端?
智東西3月29日報道,近日,谷歌的TurboQuant論文引發(fā)全網(wǎng)廣泛關注。該論文提出的TurboQuant技術,據(jù)說能將大模型KV緩存的內存占用壓縮至原來的1/6,似乎給當下的“AI存儲荒”提供了解決思路,因此一度引發(fā)美股多支存儲股大跌,市值合計蒸發(fā)超過900億美元(約合人民幣6220億元)。
然而,反轉也來得很快。3月27日,蘇黎世聯(lián)邦理工學院計算機博士后、RaBitQ論文作者華人高健揚發(fā)布文章,指出谷歌的TurboQuant論文存在三大問題:系統(tǒng)性地回避了其與已有RaBitQ方法(2024年發(fā)布)的相似性,錯誤描述了RaBitQ的理論結果,并刻意營造不公的實驗環(huán)境。
![]()
▲高健揚在知乎上發(fā)表的澄清文章
并且,谷歌TurboQuant團隊可能還存在“知錯不改”的嫌疑。高健揚稱,早在2025年5月,在TurboQuant論文正式投稿至ICLR 2026之前,RaBitQ團隊已經向作者指出了論文存在的問題,TurboQuant團隊承認了相關問題,但選擇不予修復。
![]()
▲高健揚在X平臺上發(fā)表的推文
今天下午,高健揚更新了知乎帖子,稱他們僅收到TurboQuant論文第一作者Amir Zandieh的籠統(tǒng)答復,承諾會修正對RaBitQ理論結果的錯誤描述和實驗環(huán)境差異,但拒絕在文中討論TurboQuant與RaBitQ在技術上的相似性。
并且,TurboQuant團隊僅愿意在今年4月ICLR 2026正式會議結束之后才做相應修正。
高健揚稱,他決定此時公開說明這一事件,是因為錯誤的學術敘事一旦廣泛傳播,糾正的成本會越來越高。
高健揚在知乎上發(fā)布的公開澄清文章:
https://zhuanlan.zhihu.com/p/2020969476166808284?wechatShare=1&s_r=0
一、KV緩存砍至1/6、推理提速8倍,TurboQuant具體做了什么?
在厘清事實之前,我們需要首先看看谷歌的TurboQuant究竟提出了什么方法。
向量量化一直是AI數(shù)據(jù)“瘦身”的主流技術,主要用于壓縮高維向量、節(jié)省內存、提升檢索與推理效率。但傳統(tǒng)壓縮方法通常會引入額外的內存開銷,反而會影響向量量化的效果。
谷歌提出的TurboQuant是一種無損極限壓縮算法,該算法主要通過兩個關鍵步驟,在實現(xiàn)零精度損失的同時大幅縮小模型尺寸。
![]()
▲TurboQuant博客
第一步是高質量壓縮(PolarQuant方法)。TurboQuant首先對數(shù)據(jù)向量進行隨機旋轉。這一操作能夠簡化數(shù)據(jù)的幾何結構,從而便于使用標準且高質量的模型量化器。
通過這一階段,TurboQuant能夠將大部分壓縮能力(即多數(shù)比特)用于捕捉原始向量的主要特征和強度。
第二步是消除隱藏誤差。TurboQuant僅用少量剩余壓縮能力(僅1比特),對第一階段殘留的微小誤差應用QJL算法。QJL階段相當于一個數(shù)學誤差檢查器,能夠消除偏差,從而獲得更加精準的注意力評分。
QJL采用一種了稱為“Johnson-Lindenstrauss變換”的方法,縮小復雜、高維數(shù)據(jù),同時保持數(shù)據(jù)點之間的基本距離和關系。
實驗中,谷歌稱TurboQuant在所有基準測試中均達到了“完美的下游任務表現(xiàn)”,同時將KV緩存的內存占用減至1/6。
![]()
▲TurboQuant基準測試結果
使用TurboQuant計算注意力邏輯值后,在H100 GPU加速器上,4比特TurboQuant相比32比特未量化的鍵值實現(xiàn)了高達8倍的性能提升。
![]()
▲TurboQuant性能測試結果
二、RaBitQ論文作者完整復盤:去年就已提出質疑,TurboQuant團隊不回郵件
TurboQuant論文在3月25日被“Google Research”官方賬號轉發(fā)后,獲得了海量關注。然而,這篇論文與2024年5月由高健揚等人發(fā)布RaBitQ論文,有不少說不清道不明的聯(lián)系。
高健揚在他發(fā)布的知乎帖子中回顧了相關爭議的完整時間線:
![]()
▲高健揚回顧事件完整時間線
可以看到,在2024年,RaBitQ團隊就陸續(xù)發(fā)布了論文的預印本和擴展版,同時開源了相關代碼。這篇論文還發(fā)表在頂級會議SIGMOD上。
2025年1月,TurboQuant論文第二作者Majid Daliri與RaBitQ團隊取得聯(lián)系,請求協(xié)助調試Python版RaBitQ實現(xiàn),三個月后TurboQuant論文在arXiv發(fā)布。
TurboQuant發(fā)布后,RaBitQ團隊很快發(fā)現(xiàn)了TurboQuant團隊針對RaBitQ采用了不同的實驗條件,然而TurboQuant團隊在被要求修改事實性錯誤后,采取了消極態(tài)度,停止回復郵件。
2025年11月,TurboQuant論文被提交至ICLR 2026,相關錯誤并未修改,RaBitQ團隊聯(lián)系ICLR 2026后也未獲得回應。
在高健揚看來,TurboQuant論文至少存在三個問題。
問題一:系統(tǒng)性地回避TurboQuant方法與已有RaBitQ方法的相似性
RaBitQ與TurboQuant在方法層面有直接的結構聯(lián)系,兩者都在量化前對輸入向量施加隨機旋轉(Johnson-Lindenstrauss變換)。這是兩篇論文方法設計中最核心、最接近的部分。
對于這一質疑,TurboQuant團隊曾回復道:“隨機旋轉和Johnson-Lindenstrauss變換已成為該領域的標準技術,我們無法列舉所有使用這些方法的方法。”
高健揚認為這一回應是在轉移矛盾:作為在相同問題設定下,率先將隨機旋轉(Johnson-Lindenstrauss變換)與向量量化結合、并建立最優(yōu)理論保證的先行工作,RaBitQ應當在文中被準確描述,其與TurboQuant方法的聯(lián)系應當充分討論。
問題二:錯誤描述RaBitQ的理論結果
高健揚稱,TurboQuant論文在不提供任何論據(jù)的情況下,將RaBitQ的理論保證定性為“次優(yōu)”,將原因歸結為“較粗糙的分析(loose analysis)”。
然而,RaBitQ的誤差界實際上已經達到了理論計算機頂級會議論文(Alon-Klartag,F(xiàn)OCS 2017)給出的漸近最優(yōu)誤差界,并因這一結果被邀請至理論計算機科學頂級會議FOCS的Workshop進行報告。
2025年,RaBitQ團隊與TurboQuant的第二作者Majid Daliri進行了多輪詳細的郵件技術討論,澄清TurboQuant團隊對RaBitQ理論結果的錯誤解讀,然而相關錯誤定性一直未被修正。
問題三:刻意創(chuàng)造不公平的實驗環(huán)境
TurboQuant團隊在測試RaBitQ和TurboQuant時采用了不同的實驗設置。
具體來看,TurboQuant團隊使用單核CPU、關閉多線程并行的設置來測試RaBitQ算法,但卻使用英偉達A100 GPU測試TurboQuant算法。
TurboQuant團隊還使用了自己翻譯的Python代碼,而非RaBitQ團隊開源的C++實現(xiàn),前者的效果要差于后者。
同時,以上兩點差異均未在論文中充分披露。
三、論文評審發(fā)帖:只提一次RaBitQ,我是震驚的
RaBitQ團隊的維權,獲得了一些網(wǎng)友和學術圈人士的聲援。
TurboQuant論文的一位評審者在公開的學術論文評審平臺OpenReview發(fā)表評論,稱他雖然認為TurboQuant的理論分析和實驗結果都很出色,但是也發(fā)現(xiàn)這一方法與RaBitQ存在明顯的共通之處,并要求TurboQuant團隊比較兩者在設計上的差異如何影響性能。
然而,在查看TurboQuant的最終版本時,他驚訝地發(fā)現(xiàn)在論文的實驗部分RaBitQ僅被提到了一次。
![]()
▲TurboQuant論文評審談這篇論文的問題
在知乎上,有位網(wǎng)友稱自己去年讀TurboQuant論文時,就感受到其與RaBitQ的相似之處,更像是把RaBitQ換了一種表達方式,在GPU上實現(xiàn)一遍,創(chuàng)新性不夠。
![]()
▲知乎網(wǎng)友評論TurboQuant創(chuàng)新性問題
還有網(wǎng)友稱,自己復現(xiàn)了TurboQuant,發(fā)現(xiàn)至少在向量檢索領域TurboQuant的召回率低于RaBitQ。
![]()
▲知乎網(wǎng)友質疑TurboQuant復現(xiàn)結果
X平臺上,有網(wǎng)友評價道,在論文提交前問題就被指出,但卻被忽略,這是最糟糕的結果。這意味著TurboQuant團隊明明意識到問題存在卻故意保留了下來。雖然同行評審流程應該能發(fā)現(xiàn)這些問題,但ICLR的接收并不總是意味著技術論斷站得住腳。
![]()
▲X平臺網(wǎng)友評價TurboQuant涉嫌學術不端事件
結語:頂會論文、大廠標簽不是護身符,學術敘事不容“帶病傳播”
截至目前,TurboQuant與RaBitQ之間的爭議尚未有官方定論。然而,學術研究的核心在于“可追溯”與“可復現(xiàn)”。當一篇論文被頂級會議接收,并通過大型科技公司的渠道獲得千萬級曝光時,其技術敘事的影響力已遠超學術圈本身,甚至波及資本市場。
在這種情況下,對先行工作的準確引用、對實驗條件的完整披露、對質疑的及時回應,便不再是可有可無的環(huán)節(jié),而是維護學術共同體公信力的基本責任。
目前,RaBitQ論文團隊已向ICLR官方再次提交正式投訴和完整證據(jù)包。未來,他們還考慮在arXiv上發(fā)布詳細技術報告,進一步呈現(xiàn)兩項研究的關系。
無論結果如何,它都再次提醒我們,對學術規(guī)范的敬畏、對先行者的尊重,以及對每一份實驗數(shù)據(jù)的誠實,始終是不可逾越的底線。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.