看過 HBO 神劇《硅谷》(Silicon Valley)的朋友,想必都對那個名為 Pied Piper(魔笛手)的虛構(gòu)公司念念不忘。
在劇中,男主角 Richard Hendricks 發(fā)明了一種「中間壓縮算法」,能以極高的壓縮率無損處理文件,甚至因此改寫了整個互聯(lián)網(wǎng)的規(guī)則。
當(dāng)時我們都以為這只是編劇的腦洞。直到 Google Research 正式發(fā)布了名為 TurboQuant 的 AI 壓縮算法。
![]()
這原本是一條枯燥的技術(shù)新聞,卻在社交網(wǎng)絡(luò)上引發(fā)了病毒式傳播,不到 24 小時,就收獲了 1280 萬次瀏覽。原因無他,這項技術(shù)的設(shè)定簡直就是 Pied Piper 的翻版:
在不損失模型性能的前提下,將 AI 的「工作記憶」壓縮至少 6 倍。
市場的反應(yīng)也極為真實,美股存儲芯片板塊盤中遭遇拋售,美光科技、閃迪等頭部企業(yè)股價齊齊收跌。
![]()
這不禁讓人好奇,一項純軟件層面的算法創(chuàng)新,為什么會讓賣硬件的先慌了神,而Google 到底向當(dāng)前的 AI 牌桌上扔了一張怎樣的底牌?
困在「記憶黑洞」里的大模型
拋開網(wǎng)絡(luò)熱梗,TurboQuant 的出現(xiàn)其實不僅是為了好玩,更是為了解決一個讓整個 AI 行業(yè)頭疼已久的真實瓶頸。
眾所周知,現(xiàn)在的 AI 模型越來越大,對顯存的胃口也像無底洞一樣。尤其是在推理階段(也就是你和 AI 聊天的時候),AI 需要記住上下文信息,這部分?jǐn)?shù)據(jù)被稱為 KV Cache(鍵值緩存)。
![]()
每處理一個詞,模型都要把它轉(zhuǎn)成一個高維向量存進 GPU 顯存。對話越長,這份「數(shù)字備忘錄」膨脹越快,很快就把 GPU 顯存塞滿。這就是為什么你的 AI 助手聊久了會「變笨」或者直接報錯,腦容量不夠了。
更棘手的是,傳統(tǒng)的壓縮方法一直面臨一個兩難困境:壓縮數(shù)據(jù)時,需要額外存儲「量化常數(shù)」來告訴模型怎么解壓。這些元數(shù)據(jù)聽起來很小,加起來卻能把壓縮帶來的收益全部抵消掉。
Google 的 TurboQuant 的誕生正是基于此。
研究人員設(shè)計了一套兩階段的數(shù)學(xué)解法。第一階段叫 PolarQuant,把數(shù)據(jù)向量從傳統(tǒng)的直角坐標(biāo)系轉(zhuǎn)換成極坐標(biāo)系,拆分成「半徑」(表示大小)和「角度」(表示方向)。
這個幾何變換的妙處在于:轉(zhuǎn)換后角度的分布變得高度可預(yù)測,模型不再需要為每個數(shù)據(jù)塊單獨存儲昂貴的歸一化常數(shù),直接映射到固定的圓形網(wǎng)格上就行了,開銷為零。
![]()
第二階段叫 QJL(Quantized Johnson-Lindenstrauss 變換),充當(dāng)數(shù)學(xué)層面的糾錯器。它把壓縮后殘留的誤差投影到低維空間,再把每個誤差值壓縮成一個符號位(+1 或 -1)。
這個設(shè)計保證了 AI 在計算「注意力分?jǐn)?shù)」時,壓縮版本的結(jié)果與高精度原版在統(tǒng)計意義上完全一致。所謂注意力分?jǐn)?shù),就是模型判斷上下文里哪些詞最重要的關(guān)鍵步驟。
如果說以前 AI 記筆記是「逐字逐句抄寫」,那么 TurboQuant 就像發(fā)明了一套「極簡速記符號」:該記的一個不漏,占的空間卻少了六倍。
這套方法還有一個對企業(yè)來說格外友好的特性:無需重新訓(xùn)練模型。你現(xiàn)有的開源模型,或者自己微調(diào)過的模型,直接套上 TurboQuant 就能跑,不用額外的數(shù)據(jù)集,也不用重新跑一遍訓(xùn)練流程。
光說不練假把式,在「大海撈針」基準(zhǔn)測試?yán)铮?AI 從 10 萬個詞里找出一句藏好的話,TurboQuant 在 Llama-3.1-8B 和 Mistral-7B 上跑出了滿分召回率,同時把 KV Cache 的顯存占用壓縮了至少 6 倍。
![]()
在 LongBench 綜合評測套件(涵蓋問答、代碼生成、長文摘要)上,TurboQuant 全面追平甚至超過了此前的最強基線方法 KIVI。
最硬核的數(shù)字來自英偉達 H100 GPU 的實測:4 位精度的 TurboQuant 在計算注意力邏輯上的速度,比未壓縮的 32 位方案快了整整 8 倍。
![]()
Google 的「DeepSeek 時刻」?
論文發(fā)布后的 24 小時內(nèi),社區(qū)已經(jīng)開始動手驗證。
Apple Silicon MLX 框架的知名開發(fā)者 @Prince_Canuma 把算法移植到了 Apple Silicon 的 MLX 框架,測試 Qwen3.5-35B 模型,上下文長度從 8500 到 64000 token 全覆蓋,每個量化等級都跑出了 100% 的精確匹配。
他還發(fā)現(xiàn),2.5 位的 TurboQuant 能把 KV Cache 壓縮近 5 倍,準(zhǔn)確率零損失。
![]()
對于 TurboQuant 的發(fā)布,Cloudflare CEO Matthew Prince 甚至將其稱為 Google 的「DeepSeek 時刻」。
![]()
把時間撥回一年前,DeepSeek 以極低的成本訓(xùn)練出了性能驚人的模型,徹底打破了硅谷大廠對高成本才能訓(xùn)練出高性能 AI 的迷信。那次沖擊也讓整個行業(yè)意識到:光有大模型不夠,還得跑得起、跑得快。
TurboQuant 也是這種背景下的產(chǎn)物。如果這項技術(shù)能從實驗室走向大規(guī)模應(yīng)用,它將帶來肉眼可見的商業(yè)價值。
同樣一張 H100,推理成本理論上可以直接打折超過 50%;端側(cè)部署的門檻也會大幅降低,以前需要 32 位精度才能跑的大模型,放在 Mac Mini 或者本地服務(wù)器上也能運行,還不會有質(zhì)量損耗。
![]()
市場的反應(yīng),已經(jīng)很說明問題了。TurboQuant 發(fā)布當(dāng)天,美股存儲芯片板塊盤中遭遇明顯拋售。閃迪、美光科技等頭部企業(yè)股價顯著收跌,存儲芯片與硬件供應(yīng)鏈相關(guān)指數(shù)單日跌幅超過 2%。
究其原因,如果 AI 巨頭能用一套純軟件算法把顯存需求砍掉六分之五,那些押注 AI 會持續(xù)瘋狂消耗高帶寬顯存的多頭,就得重新盤算自己的倉位了。
而這種防御性反應(yīng)背后,也表明,過去兩年支撐存儲股估值的核心邏輯之一,是 AI 對顯存的需求只會越來越大。TurboQuant 第一次在技術(shù)層面正式動搖了這個假設(shè)。
當(dāng)然,雖然聽起來很美好,還是要潑一盆冷水。
![]()
一方面,歷史上每次效率提升,往往反而帶動了總需求增長,經(jīng)濟學(xué)里叫「杰文斯悖論」。AI 跑得更便宜,可能意味著更多人更頻繁地用它,最終消耗的算力反而更多。所以這場「顯存危機」到底會不會因此化解,還真不好說。
另一方面,TurboQuant 目前仍處于實驗室階段,根據(jù)最新消息,Google 計劃在下個月的 ICLR 2026 大會上正式展示這項技術(shù),屆時還將同步亮相另一場頂會 AISTATS 2026。
但從論文到大規(guī)模生產(chǎn)部署,中間隔著工程適配、不同架構(gòu)的兼容性測試、真實場景的性能驗證,每一關(guān)都不輕松。
![]()
論文地址:https://arxiv.org/abs/2504.19874
有網(wǎng)友直接開炮,這篇論文的底層研究其實早在去年四月就已公開,根本談不上橫空出世,眼下的輿論熱潮,多少有點追著舊聞起哄的意思。
在他看來,如果存儲股因為一篇算法論文而大跌,恰恰暴露了市場里有多少人根本沒搞清楚這件事的邊界,并把這波反應(yīng)比作「豐田出了新混動引擎,石油就該崩盤」。
![]()
更重要的是,TurboQuant 解決的只是推理(Inference)階段的顯存瓶頸,訓(xùn)練階段的顯存消耗依然是另一座大山。想從頭訓(xùn)練一個主流量級的大模型,需要的算力資源依然是天文數(shù)字。
在《硅谷》里,Pied Piper 的壓縮算法最終改變了整個互聯(lián)網(wǎng)。而在現(xiàn)實中,TurboQuant 的野心沒那么大,目標(biāo)只是讓 AI 在有限的物理空間里記得更多、算得更快、跑得更便宜。
現(xiàn)實終究不是好萊塢劇本,不必徹底改變互聯(lián)網(wǎng),能和 AI 聊得更長、不再半途報錯,已經(jīng)是很多人想要的了。
附上 TurboQuant 官方技術(shù)博客:
https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/
我們正在招募伙伴
簡歷投遞郵箱hr@ifanr.com
?? 郵件標(biāo)題「姓名+崗位名稱」(請隨簡歷附上項目/作品或相關(guān)鏈接)
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.