每經(jīng)記者:岳楚鵬 每經(jīng)編輯:高涵
從“算力時(shí)代”進(jìn)入“推理時(shí)代”,AI對(duì)內(nèi)存的需求激增,大幅提振了全球存儲(chǔ)公司業(yè)績(jī)和股價(jià)。
但谷歌的一篇文章,讓美國(guó)和韓國(guó)的內(nèi)存巨頭市值一天蒸發(fā)了超900億美元(約合人民幣6200億元)。
當(dāng)?shù)貢r(shí)間3月24日,谷歌研究院(Google Research)發(fā)布了一篇介紹名為TurboQuant的向量量化壓縮算法的文章,宣稱在不損失準(zhǔn)確率前提下,將大模型運(yùn)行時(shí)的關(guān)鍵內(nèi)存占用壓縮至3比特(原有內(nèi)存占用的1/6)。
有市場(chǎng)觀點(diǎn)認(rèn)為,這一算法將減少AI對(duì)內(nèi)存的需求。
但也有分析師稱,市場(chǎng)的反應(yīng)說(shuō)明,很多人對(duì)技術(shù)“一竅不通”。
谷歌發(fā)布新算法,存儲(chǔ)巨頭市值蒸發(fā)逾6200億元
當(dāng)?shù)貢r(shí)間3月24日,谷歌發(fā)布名為TurboQuant的內(nèi)存壓縮算法。谷歌方面表示,TurboQuant可以在不損失準(zhǔn)確性的情況下,將大型語(yǔ)言模型運(yùn)行時(shí)的關(guān)鍵部分——鍵值緩存(KV Cache)的內(nèi)存占用減少為原有的1/6,同時(shí)在英偉達(dá)H100GPU上的特定測(cè)試中,性能可提升高達(dá)8倍。
這一消息迅速觸發(fā)市場(chǎng)重估邏輯。
富國(guó)銀行分析師Andrew Rocha認(rèn)為,這項(xiàng)技術(shù)可能影響未來(lái)對(duì)內(nèi)存容量規(guī)格的需求判斷。他在報(bào)告中寫道:“市場(chǎng)很快就會(huì)重新評(píng)估,AI究竟還需要多少內(nèi)存容量。”
當(dāng)?shù)貢r(shí)間3月25日,即消息發(fā)布后的第一個(gè)美股交易日,存儲(chǔ)芯片板塊在盤中集體跳水。閃迪(SanDisk)股價(jià)一度大跌6.5%,收盤時(shí)跌幅收窄至3.5%,市值損失36.3億美元。同日,美光科技(Micron Technology)下跌3.4%,市值損失151.66億美元;西部數(shù)據(jù)(Western Digital)下跌1.63%,市值損失16.64億美元;希捷科技(Seagate Technology)下跌2.76%,市值損失21.4億美元。
![]()
負(fù)面情緒迅速擴(kuò)散至亞洲市場(chǎng)。3月26日,韓國(guó)SK海力士股價(jià)下跌6.23%,市值損失44.18萬(wàn)億韓元(約合293.8億美元);三星電子也下跌了4.71%,市值損失57.83萬(wàn)億韓元(約合384.5億美元)。
![]()
全球主要內(nèi)存巨頭市值損失合計(jì)超900億美元(約合人民幣6200億元)。
直擊大模型“成本痛點(diǎn)”:KV緩存占用減少83%
TurboQuant引發(fā)震動(dòng)的核心,在于其精準(zhǔn)擊中了大模型的關(guān)鍵成本痛點(diǎn)——KV緩存(Key-Value Cache)。
在大模型推理過(guò)程中,模型需要保存歷史上下文信息形成KV緩存,以避免重復(fù)計(jì)算。但隨著上下文窗口增長(zhǎng),KV緩存呈線性膨脹,占用大量GPU內(nèi)存。
例如,一個(gè)700億參數(shù)模型在512用戶、2048 Token輸入場(chǎng)景下,僅KV緩存就需約512GB內(nèi)存,約為模型本體的4倍,已成為商業(yè)化部署中的最大成本之一。
傳統(tǒng)解決方案是“量化”,即用低精度數(shù)據(jù)替代高精度浮點(diǎn)數(shù),但往往犧牲準(zhǔn)確率,且還需額外存儲(chǔ)量化參數(shù),抵消部分壓縮收益。
TurboQuant通過(guò)兩步優(yōu)化解決這一問(wèn)題。
第一步,利用名為PolarQuant的方法,將數(shù)據(jù)從笛卡爾坐標(biāo)轉(zhuǎn)換為極坐標(biāo),類似于“向東走3米,向北走4米”的指令,簡(jiǎn)化為“以37度角走5米”。通過(guò)隨機(jī)旋轉(zhuǎn)讓數(shù)據(jù)分布可預(yù)測(cè),從而無(wú)需額外量化參數(shù),直接減少內(nèi)存開銷。
第二步,再利用名為QJL(量化約翰遜-林登施特勞斯變換)的技術(shù),用僅僅1個(gè)比特來(lái)修正第一步壓縮后產(chǎn)生的微小誤差,確保最終結(jié)果的準(zhǔn)確性。
![]()
谷歌表示,通過(guò)該組合方案:
◆KV緩存可壓縮至3比特,內(nèi)存占用減少為原有的1/6(降幅約83%);
◆在Gemma、Mistral等模型測(cè)試中,性能與未壓縮模型一致,無(wú)需額外訓(xùn)練或微調(diào);
◆在NVIDIA H100測(cè)試中,4比特TurboQuant注意力計(jì)算速度達(dá)到32位未量化的8倍。
![]()
華爾街激辯:節(jié)省緩存等于減少內(nèi)存總需求嗎?
盡管市場(chǎng)短期劇烈反應(yīng),但機(jī)構(gòu)觀點(diǎn)明顯分化。
首先,這項(xiàng)技術(shù)并非首次披露,相關(guān)論文早在2025年4月已公開。
其次,有分析指出,谷歌所謂的“8倍性能提升”是與32位未量化模型對(duì)比得出,而當(dāng)前主流已普遍采用4位量化,實(shí)際提升或低于宣傳值。
![]()
市場(chǎng)分析機(jī)構(gòu)Citrini Research分析師Jukan直言,因TurboQuant導(dǎo)致內(nèi)存股暴跌,反映出市場(chǎng)對(duì)技術(shù)“一竅不通”,就像豐田推出混動(dòng)發(fā)動(dòng)機(jī)卻讓石油公司暴跌一樣。
摩根士丹利則指出,TurboQuant技術(shù)的影響范圍是有限的。它僅作用于推理階段KV緩存,不影響模型權(quán)重,也不涉及訓(xùn)練環(huán)節(jié)。因此,這并不意味著整體存儲(chǔ)需求下降到原來(lái)的1/6,而是提升單位硬件效率,讓相同的硬件能處理更長(zhǎng)的上下文或服務(wù)更多用戶。
此外,摩根士丹利援引“杰文斯悖論”(Jevons Paradox),該理論認(rèn)為,效率提升往往不會(huì)減少資源消耗,反而會(huì)因成本下降而刺激需求增長(zhǎng)。就像瓦特改良蒸汽機(jī)提高了煤炭燃燒效率,結(jié)果卻是全球煤炭需求量的飆升一樣。摩根士丹利認(rèn)為,通過(guò)大幅降低單次查詢的服務(wù)成本,TurboQuant能夠讓原本只能在云端昂貴集群上運(yùn)行的模型遷移至本地,有效降低AI規(guī)模化部署的門檻,這可能反而能進(jìn)一步提振整體需求。
Cloudflare首席執(zhí)行官M(fèi)atthew Prince將TurboQuant稱為谷歌的“DeepSeek時(shí)刻”。類似情況曾在DeepSeek發(fā)布時(shí)出現(xiàn):市場(chǎng)一度擔(dān)憂算力需求下降,但最終AI應(yīng)用爆發(fā),反而推高硬件需求。一開始下跌的英偉達(dá)后來(lái)再創(chuàng)歷史新高。
從行業(yè)規(guī)律“內(nèi)存帕金森定律”來(lái)看,TurboQuant節(jié)省的內(nèi)存不會(huì)閑置,而會(huì)被迅速消耗:每一輪硬件升級(jí)或軟件優(yōu)化釋放出來(lái)的存儲(chǔ)余量,很快就會(huì)被更長(zhǎng)的上下文窗口、更大的批處理規(guī)模、更復(fù)雜的推理需求所吞噬。換言之,節(jié)省下來(lái)的空間將被用于服務(wù)更多并發(fā)請(qǐng)求、處理更長(zhǎng)的文檔,或者運(yùn)行原本因內(nèi)存不足而無(wú)法加載的大模型,甚至可能推動(dòng)更強(qiáng)大的AI應(yīng)用在手機(jī)等移動(dòng)設(shè)備上成為現(xiàn)實(shí)。
免責(zé)聲明:本文內(nèi)容與數(shù)據(jù)僅供參考,不構(gòu)成投資建議,使用前請(qǐng)核實(shí)。據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.