谷歌論文“弄虛作假”手段曝光：基線從C++改Python單核，自己用A100 GPU

最近，谷歌論文 TurboQuant 引發(fā)全球內(nèi)存股震蕩，之后論文原作者也出來澄清，稱谷歌 TurboQuant 歪曲了他們的算法成果（見文末相關閱讀鏈接）。那么這篇論文中提到的“性能奇跡”是怎么來的？

此前，谷歌Research官方賬號發(fā)布過一則宣傳帖。谷歌在帖子里說，他們的新壓縮算法TurboQuant能把LLM的key-value cache內(nèi)存至少減少6倍，同時帶來最高8倍的速度提升，而且精度完全不損失。

谷歌這篇文章里面詳細介紹了這個算法，還鏈接了arXiv論文2504.19874。博客和論文里反復強調(diào)，TurboQuant在LongBench、Needle-in-a-Haystack等基準測試中表現(xiàn)完美，內(nèi)存壓縮到3-3.5比特每通道，速度比32位全精度快很多，實驗硬件是NVIDIA A100 GPU（論文明確說所有實驗都在單張A100上跑）。

對此，有博主就指出，谷歌把對照組從之前的C++實現(xiàn)改成了Python單線程、單核CPU跑，而自己的TurboQuant算法卻在A100 GPU上跑。這樣一對比，內(nèi)存減少倍數(shù)和性能提升倍數(shù)當然顯得特別大。原來大家用C++做基準的時候，對照組本身就很快，現(xiàn)在換成最慢的Python單線程單核CPU，對照組自然慢得一塌糊涂，自己的GPU實現(xiàn)一比就“8倍加速”了。論文里雖然沒把這句話寫在標題上，但實驗描述和實現(xiàn)細節(jié)里能看出，基線方法（比如Product Quantization和RabitQ）是CPU上的非向量化實現(xiàn)，而TurboQuant直接用GPU加速，量化時間從幾百秒直接降到0.001秒左右，這種硬件和實現(xiàn)方式的差異直接放大了性能差距。

谷歌這次宣傳的重點是“零精度損失、6倍內(nèi)存節(jié)省、8倍加速”，聽起來確實能解決LLM推理里的KV cache瓶頸，讓長上下文模型跑得更省資源。論文也確實證明了在Llama-3.1-8B-Instruct等模型上，TurboQuant在壓縮后和全精度模型得分幾乎一樣，針在干草堆測試里召回率也完美。

但如果把對照組也換成同樣硬件、同樣的優(yōu)化級別，所謂的“倍數(shù)提升”會不會就沒那么驚人了？以前論文常用C++做高性能基線，這次突然改成Python單線程單核CPU，宣傳效果直接拉滿，卻讓讀者誤以為任何人都能輕松拿到8倍加速。

谷歌這個事情的惡劣之處在于，一開始讓大眾覺得太厲害了，這玩意兒能提高六倍、八倍！后來看全是假的，搞得業(yè)內(nèi)花了很大時間去驗證這東西是真是假，造成極大的浪費。

這件事不是說TurboQuant算法本身沒價值。谷歌在向量量化上確實做了理論工作，用PolarQuant和QJL結(jié)合的方式解決了傳統(tǒng)量化里的內(nèi)存開銷問題，數(shù)據(jù)無關、在線量化這些特點也確實實用。但宣傳的時候，如果基準設置得不夠公平，就容易讓人覺得論文在“優(yōu)化”結(jié)果而不是客觀報告結(jié)果。普通開發(fā)者看到博客標題，可能會以為只要用上TurboQuant，內(nèi)存和速度問題就一勞永逸了，可實際落地時還得自己確認基線條件、硬件環(huán)境和代碼實現(xiàn)，才能知道真實收益到底有多大。

科技圈里類似情況其實不少，論文里硬件不對齊、實現(xiàn)語言不對齊，最后宣傳出來的倍數(shù)就成了最吸睛的部分。TurboQuant的論文和代碼如果公開，大家可以自己復現(xiàn)對照組，看看把Python單線程單核CPU換回C++或者同樣GPU優(yōu)化后的JAX基線，實際加速倍數(shù)會變成多少。

總之，谷歌這次TurboQuant在技術上往前走了一步，但宣傳里對照組的切換，讓“6倍內(nèi)存減少、8倍性能提升”這個結(jié)論需要打個折扣。想真正用到生產(chǎn)環(huán)境，還是得自己拿相同條件跑一遍數(shù)據(jù)，才知道對自己的模型到底有多大幫助。

【相關閱讀】

一論文引發(fā)全球內(nèi)存股震蕩！原作者澄清：Google TurboQuant 歪曲我們的算法成果

谷歌歪曲他人算法成果！華人學者實名控訴三大問題，抄襲+造假實錘

一篇論文砸崩存儲芯片巨頭股價，谷歌干了什么？

谷歌一夜塌房！干崩內(nèi)存股論文被曝抄襲，華人學者血淚控訴

谷歌TurboQuant壓縮算法論文被指抄襲