谷歌黑魔法，沒人能看懂的Gemini 3 Flash

新智元報(bào)道

編輯：定慧

【新智元導(dǎo)讀】參數(shù)越小，智商越高？Gemini 3 Flash用百萬(wàn)級(jí)長(zhǎng)上下文、白菜價(jià)成本，把自家大哥Pro按在地上摩擦。谷歌到底掏出了什么黑魔法，讓整個(gè)大模型圈開始懷疑人生？

Gemini 3 Flash發(fā)布已經(jīng)有段時(shí)間了，速度快3倍的同時(shí)智力反超Pro。

但是目前依然沒人能夠說(shuō)明白：為啥Flash能比Pro還要「聰明」。

為何一個(gè)在參數(shù)規(guī)模上顯著縮減的模型，能夠在更大規(guī)模的模型擅長(zhǎng)的領(lǐng)域?qū)崿F(xiàn)超越？

長(zhǎng)期以來(lái)，業(yè)界奉行著「參數(shù)即正義」的信條，認(rèn)為更大的模型（更多的參數(shù)量）必然帶來(lái)更強(qiáng)的智能表現(xiàn)。

然而，Gemini 3 Flash的出現(xiàn)打破了這一線性邏輯，它不僅在成本和速度上保持了「Flash」系列的輕量級(jí)特征，更在多項(xiàng)關(guān)鍵基準(zhǔn)測(cè)試中，尤其是涉及復(fù)雜推理和超長(zhǎng)上下文的任務(wù)上，擊敗了前一代甚至當(dāng)代的「Pro」級(jí)模型。

而且最近有人發(fā)現(xiàn)，在長(zhǎng)下文測(cè)試中，Gemini 3 Flash更是遙遙領(lǐng)先！

在OpenAI的MRCR基準(zhǔn)測(cè)試中，Gemini 3 Flash在100萬(wàn)上下文長(zhǎng)度下達(dá)到了90%的準(zhǔn)確率！

這一表現(xiàn)在所有模型中均屬最先進(jìn)水平，大多數(shù)頂尖模型甚至無(wú)法突破256k的上下文長(zhǎng)度。

那么谷歌到底用了什么黑魔法？

Gemini 3 Flash憑什么在百萬(wàn)長(zhǎng)文本與低成本間實(shí)現(xiàn)「降維打擊」？

知名AI研究員@bycloudai在深入評(píng)測(cè)后指出，谷歌可能在模型架構(gòu)研究上已處于「遙遙領(lǐng)先」的隱形地位。

這一表現(xiàn)打破了行業(yè)常規(guī)認(rèn)知：它既沒有像標(biāo)準(zhǔn)注意力機(jī)制那樣產(chǎn)生高昂算力成本，也沒有像常見的線性注意力或SSM混合模型那樣導(dǎo)致知識(shí)推理能力下降。

Gemini 3 Flash似乎掌握了某種未知的「高效注意力機(jī)制」，令外界對(duì)其背后的技術(shù)原理直呼「看不懂」但大受震撼。

再挖掘Gemini 3 Flash的黑魔法錢，有必要先介紹一下這個(gè)評(píng)測(cè)標(biāo)準(zhǔn)。

在2023年至2024年間，評(píng)估大語(yǔ)言模型長(zhǎng)上下文能力的主流方法是「大海撈針」（Needle In A Haystack，NIAH）。

該測(cè)試將一個(gè)特定的事實(shí)（針）插入到長(zhǎng)篇文檔（大海）的隨機(jī)位置，要求模型將其檢索出來(lái)。

然而，隨著模型上下文窗口擴(kuò)展至128k甚至1M token，NIAH測(cè)試迅速飽和。

Gemini 1.5 Pro、GPT-4 Turbo等早期模型在該測(cè)試中均能達(dá)到近乎100%的準(zhǔn)確率。

NIAH本質(zhì)上測(cè)試的是檢索能力，而非推理能力。

它要求模型找到信息，但不要求模型理解信息之間的復(fù)雜依賴關(guān)系。

這導(dǎo)致了一種錯(cuò)覺：似乎所有模型都完美掌握了長(zhǎng)上下文。

但在實(shí)際的企業(yè)級(jí)應(yīng)用（如法律文檔分析、代碼庫(kù)理解）中，用戶不僅需要模型找到「條款A(yù)」，還需要模型理解「條款A(yù)」與「條款B」在特定條件下的沖突，這種高階能力是NIAH無(wú)法覆蓋的。

正是在這種背景下，Context Arena應(yīng)運(yùn)而生。

這是一個(gè)由獨(dú)立研究者（如Dillon Uzar等人）維護(hù)的、專注于長(zhǎng)上下文理解能力評(píng)估的基準(zhǔn)平臺(tái)。

Context Arena不僅僅是一個(gè)排行榜，它是一個(gè)針對(duì)大模型「注意力缺陷」的診斷工具看，衡量模型「智商」和長(zhǎng)程記憶穩(wěn)定性的試煉場(chǎng)。

Context Arena最具殺傷力的武器是MRCR(Multi-Round Co-Reference Resolution)基準(zhǔn)測(cè)試。

OpenAI受到Gemini的啟發(fā)，也搞了一個(gè)OpenAI-MRCR，就是一開始上面所說(shuō)的評(píng)測(cè)基準(zhǔn)。

這是一個(gè)設(shè)計(jì)精巧的壓力測(cè)試，旨在擊穿那些使用近似注意力機(jī)制（如線性注意力或稀疏注意力）的模型的防線。

測(cè)試機(jī)制是這樣的，MRCR會(huì)生成一段極長(zhǎng)的、多輪次的合成對(duì)話或文本。

在這些文本中，系統(tǒng)會(huì)植入多個(gè)高度相似的「針」（Needles）。

例如，文本中可能包含8首關(guān)于「貘」（tapir）的詩(shī)，每首詩(shī)的風(fēng)格略有不同但主題一致。

挑戰(zhàn)點(diǎn)在于系統(tǒng)會(huì)向模型提出極其刁鉆的指令，如：「請(qǐng)復(fù)述關(guān)于貘的第二首詩(shī)」或「找出第四次提到貘時(shí)的具體描述」。

在Context Arena的MRCR榜單上，Gemini 3 Flash展現(xiàn)出了驚人的統(tǒng)治力。

這直接證明了Gemini 3 Flash并未為了速度而犧牲核心的「注意力精度」。

猜猜谷歌用了什么技術(shù)

我們來(lái)對(duì)比一下常見的注意力機(jī)制。

標(biāo)準(zhǔn)注意力是指數(shù)級(jí)的，所以誕生了一種新技術(shù)叫做線性注意力。

另外一種還有稀疏注意力。

稀疏注意力保留了標(biāo)準(zhǔn)注意力的高精度，但通過只計(jì)算「重要」的部分來(lái)降低計(jì)算量。

比如，DeepSeek的DSA(DeepSeek SparseAttention)。

DeepSeek認(rèn)為，對(duì)于任何一個(gè)查詢，絕大多數(shù)歷史信息都是無(wú)關(guān)的。因此，沒必要計(jì)算全量的注意力。

DSA使用一種啟發(fā)式算法（如Lightning Indexer），快速篩選出最相關(guān)的Top-K個(gè) token或塊（Block），只對(duì)這些部分進(jìn)行精細(xì)計(jì)算。

此外還有一些混合架構(gòu)，比如Gemini的策略。

雖然谷歌未公開細(xì)節(jié)，但業(yè)界推測(cè)Gemini 3 Flash也是一種高度復(fù)雜的混合架構(gòu)，可能在底層使用Infini-attention處理超長(zhǎng)歷史，在頂層使用標(biāo)準(zhǔn)注意力進(jìn)行邏輯推理，并結(jié)合MoE（混合專家模型）來(lái)進(jìn)一步降低計(jì)算成本。

總結(jié)來(lái)說(shuō)，谷歌之所以能讓Gemini 3 Flash實(shí)現(xiàn)「輕量級(jí)打Pro」，并非依賴單一的黑科技，而是基于TPU硬件、算法架構(gòu)、訓(xùn)練數(shù)據(jù)三位一體的深度優(yōu)化：

• 數(shù)據(jù)層面（Data）：利用Gemini 3 Pro進(jìn)行大規(guī)模的思維鏈蒸餾，將高階推理能力「壓縮」進(jìn)Flash模型，使其具備了超越參數(shù)規(guī)模的「智商」。

• 計(jì)算層面（Compute）：引入Thinking（思考）機(jī)制，允許模型在推理時(shí)動(dòng)態(tài)分配計(jì)算資源。對(duì)于難題，F(xiàn)lash模型會(huì)像人一樣「停下來(lái)想一想」，這種時(shí)間維度上的算力投入彌補(bǔ)了空間維度（參數(shù)量）的不足。

• 記憶層面（Memory）：部署Infini-attention和Titans風(fēng)格的記憶模塊，將指數(shù)級(jí)的注意力成本降維，實(shí)現(xiàn)了在1M+上下文中依然保持高精度的檢索能力，徹底解決了長(zhǎng)上下文帶來(lái)的問題。

Gemini 3 Flash的核心戰(zhàn)略意義

「Flash」一詞在谷歌的產(chǎn)品線中歷史悠久，從Gemini 1.5 Flash開始，它就被定位為高吞吐量、低延遲的工具，主要用于簡(jiǎn)單任務(wù)的快速處理。

這種定位在用戶心中植入了一個(gè)根深蒂固的假設(shè)：Flash模型是Pro模型的蒸餾版本。

在傳統(tǒng)的模型壓縮理論中，蒸餾意味著學(xué)生模型只能逼近但永遠(yuǎn)無(wú)法超越教師模型的表現(xiàn)。

因此，當(dāng)Gemini 3 Flash發(fā)布時(shí)，絕大多數(shù)分析師和開發(fā)者將其視為一個(gè)更便宜的API端點(diǎn)，而非一個(gè)推理引擎的革新。

然而，上面的數(shù)據(jù)告訴我們，Gemini 3 Flash正在講述一個(gè)完全不同的故事。

這種「輕量級(jí)反而更強(qiáng)」的現(xiàn)象，不能簡(jiǎn)單地用更精細(xì)的數(shù)據(jù)清洗或更長(zhǎng)的訓(xùn)練時(shí)間來(lái)解釋。

它暗示了底層架構(gòu)的根本性變化——一種不再單純依賴參數(shù)規(guī)模堆疊，而是依賴于更高效的信息路由與記憶機(jī)制的新型架構(gòu)。

Gemini 3 Flash的核心戰(zhàn)略意義在于它打破了AI經(jīng)濟(jì)學(xué)中的線性增長(zhǎng)法則。

在過去，要獲得10%的智能提升，通常需要10倍的算力投入。

但Gemini 3 Flash以$0.50/1M輸入 token的極低價(jià)格，提供了GPQA Diamond基準(zhǔn)測(cè)試中90.4%的博士級(jí)推理能力。

這意味著谷歌不僅僅是在打價(jià)格戰(zhàn)，而是在進(jìn)行一場(chǎng)架構(gòu)層面的降維打擊。

當(dāng)一個(gè)模型的推理成本低到可以忽略不計(jì)，且其長(zhǎng)上下文召回能力達(dá)到完美（>99%）時(shí)，它就不再僅僅是一個(gè)聊天機(jī)器人，而是一個(gè)可以吞噬整個(gè)企業(yè)知識(shí)庫(kù)、實(shí)時(shí)重構(gòu)代碼庫(kù)、并自主進(jìn)行多輪迭代的「智能代理」（Agent）。

是的，如果一個(gè)模型足夠的輕量、又能夠記住足夠的東西、關(guān)鍵是又很便宜，那其他「智能體」還怎么生存？

這種能力的解鎖，使得Gemini 3 Flash成為了當(dāng)前AI智能體爆發(fā)的關(guān)鍵推手。

在Pokémon游戲通關(guān)測(cè)試和SWE-bench代碼修復(fù)任務(wù)中，F(xiàn)lash模型的表現(xiàn)之所以能超越Pro模型，正是因?yàn)槠涞脱舆t和低成本允許代理在單位時(shí)間內(nèi)進(jìn)行更多的「思考-行動(dòng)-反思」循環(huán)。

這種通過高頻迭代來(lái)彌補(bǔ)單次推理深度不足（甚至在很多時(shí)候單次推理并不弱）的策略，正是當(dāng)前AI進(jìn)化的主要趨勢(shì)。

谷歌的終極武器：Titans架構(gòu)與神經(jīng)長(zhǎng)時(shí)記憶

結(jié)合Gemini 3 Flash在Context Arena的MRCR基準(zhǔn)測(cè)試中100萬(wàn)上下文90%準(zhǔn)確率的驚人表現(xiàn)，以及其低廉的推理成本，最合理的推測(cè)是：

Gemini 3 Flash大規(guī)模應(yīng)用了谷歌DeepMind最新的「Titans」架構(gòu)或其變體。

根據(jù)谷歌發(fā)表的Titans論文，這是一種結(jié)合了Transformer和神經(jīng)記憶的新型架構(gòu)。

這些框架讓AI模型能夠更快地工作，并通過更新核心內(nèi)存在運(yùn)行時(shí)處理大規(guī)模上下文。

Titans包含三個(gè)部分：

• 核心（Core，短期記憶，通常是滑動(dòng)窗口注意力）

• 長(zhǎng)期記憶（Long-term Memory）

• 持久記憶（PersistentMemory）。

與傳統(tǒng)的RNN（存儲(chǔ)固定狀態(tài)向量）不同，Titans的長(zhǎng)期記憶是一個(gè)深度神經(jīng)網(wǎng)絡(luò)（MLP）。

當(dāng)模型處理輸入時(shí)，它不僅僅是把信息存入緩存，而是通過梯度下降實(shí)時(shí)更新這個(gè)MLP的權(quán)重。

模型在推理階段（TestTime）實(shí)際上是在「學(xué)習(xí)」當(dāng)前的上下文。

它利用一個(gè)「驚奇度」（Surprise Metric）指標(biāo)來(lái)衡量新信息的重要性。

如果一段信息（比如用戶指定的隨機(jī)哈希碼）出乎模型的預(yù)料（High Surprise），模型就會(huì)通過梯度更新將其刻入長(zhǎng)期記憶網(wǎng)絡(luò)中。

為什么Titans完美解釋了Gemini 3 Flash的表現(xiàn)？

1. 無(wú)限上下文與線性復(fù)雜度：

   Titans的MAC（Memory as Context）變體允許將歷史信息壓縮進(jìn)神經(jīng)網(wǎng)絡(luò)權(quán)重，而非無(wú)限增長(zhǎng)的KVCache。這解釋了為什么Flash能以極低的內(nèi)存占用處理百萬(wàn)級(jí) token，且速度極快（線性推理）。

2. MRCR的高分：

   在MRCR測(cè)試中，模型需要記住非常具體的細(xì)節(jié)（Needles）。在Titans架構(gòu)下，這些獨(dú)特的、重復(fù)出現(xiàn)的「Needles」會(huì)產(chǎn)生高驚奇度信號(hào)，從而被優(yōu)先「學(xué)習(xí)」進(jìn)記憶模塊，而大量的干擾文本則會(huì)被遺忘門過濾。這比基于相似度檢索的傳統(tǒng)注意力機(jī)制更能抵抗噪聲。

3. 自適應(yīng)能力：

   用戶反饋稱Gemini 3 Flash似乎能「學(xué)會(huì)」用戶的糾正。這正是Titans「測(cè)試時(shí)學(xué)習(xí)」特性的體現(xiàn)——模型在對(duì)話過程中動(dòng)態(tài)調(diào)整了參數(shù)。

在這兩篇新論文《Titans》和《MIRAS》中，谷歌提出了一種架構(gòu)和理論藍(lán)圖，結(jié)合了RNN的速度與變換器精度。

Titans是具體的架構(gòu)（工具），MIRAS是理論框架（藍(lán)圖），用于推廣這些方法。

它們共同推動(dòng)了測(cè)試時(shí)間記憶的概念，即AI模型通過在模型運(yùn)行時(shí)加入更強(qiáng)大的「驚喜」指標(biāo)（即意外信息片段）來(lái)維持長(zhǎng)期記憶的能力，無(wú)需專門的離線再訓(xùn)練。

一個(gè)有效的學(xué)習(xí)系統(tǒng)需要不同但相互關(guān)聯(lián)的記憶模塊，這反映了人腦對(duì)短期記憶和長(zhǎng)期記憶的分離。

雖然注意力機(jī)制在精確短期記憶方面表現(xiàn)出色，Titans引入了一種新型神經(jīng)長(zhǎng)期記憶模塊，它不同于傳統(tǒng)RNN中的固定大小向量或矩陣記憶，它充當(dāng)深度神經(jīng)網(wǎng)絡(luò)。

該內(nèi)存模塊提供了顯著更高的表達(dá)能力，使模型能夠在不丟失重要上下文的情況下總結(jié)大量信息。模型不僅僅是做筆記，而是理解并綜合整個(gè)故事。

關(guān)鍵是，泰坦不僅僅是被動(dòng)存儲(chǔ)數(shù)據(jù)。

它主動(dòng)學(xué)習(xí)如何識(shí)別并保留連接整個(gè)輸入中Token的重要關(guān)系和概念主題。這項(xiàng)能力的一個(gè)關(guān)鍵方面是我們所說(shuō)的「驚喜指標(biāo)」。

在人類心理學(xué)中，我們知道我們會(huì)很快且容易地忘記例行公事、預(yù)期中的事件，但會(huì)記住打破常規(guī)的事情——意外、驚喜或情緒激動(dòng)的事件。

在《泰坦》的語(yǔ)境中，「驚訝指標(biāo)」指的是模型檢測(cè)到當(dāng)前記憶與新輸入信息之間的巨大差異。

• 低驚訝：如果新詞是「cat」，且模型的記憶狀態(tài)已經(jīng)預(yù)期動(dòng)物詞，則梯度（驚訝）較低。它可以安全地跳過長(zhǎng)期永久狀態(tài)下的「貓」這個(gè)詞。

• 高驚喜：如果模型的記憶狀態(tài)正在總結(jié)一份嚴(yán)肅的財(cái)務(wù)報(bào)告，而新輸入是一張香蕉皮的圖片（意外事件），那么梯度（驚喜）會(huì)非常高。這表明新輸入重要或異常，必須優(yōu)先存儲(chǔ)在長(zhǎng)期記憶模塊中。

該模型將這個(gè)內(nèi)部誤差信號(hào)（梯度）當(dāng)作數(shù)學(xué)上的等價(jià)物，比如說(shuō)：「這是意外且重要！」這使得泰坦架構(gòu)能夠選擇性地更新其長(zhǎng)期記憶，只包含最新穎且破壞上下文的信息，從而保持整體流程的快速和高效。

泰坦通過整合兩個(gè)關(guān)鍵要素來(lái)完善這一機(jī)制：

1. 動(dòng)量：模型同時(shí)考慮「瞬間驚訝」（當(dāng)前輸入）和「過去驚訝」（近期上下文流）。這確保了后續(xù)相關(guān)信息也能被捕獲，即使這些Token本身并不令人意外。

2. 遺忘（權(quán)重衰減）：為了在處理極長(zhǎng)序列時(shí)管理記憶有限容量，泰坦采用自適應(yīng)權(quán)重衰減機(jī)制。這起到遺忘門的作用，允許模型丟棄不再需要的信息。

MIRAS：序列建模的統(tǒng)一視角

序列建模的每一項(xiàng)重大突破，從現(xiàn)代變換器到新的閃電高速線性RNN，本質(zhì)上都是同一件事：一個(gè)高度復(fù)雜的聯(lián)想記憶模塊。

因此，MIRAS獨(dú)特且實(shí)用的，在于它對(duì)AI建模的看法。它不再看到多樣化的架構(gòu)，而是看到解決同一問題的不同方法：高效地將新信息與舊記憶結(jié)合，同時(shí)不遺忘核心概念。

MIRAS通過四個(gè)關(guān)鍵設(shè)計(jì)選擇定義了序列模型：

• 內(nèi)存架構(gòu)：存儲(chǔ)信息的結(jié)構(gòu)（例如，矢量、矩陣或深度多層感知器，如泰坦中的結(jié)構(gòu)）。

• 注意力偏見：模型優(yōu)化的內(nèi)部學(xué)習(xí)目標(biāo)，決定了其優(yōu)先考慮的內(nèi)容。

• 保留門：內(nèi)存規(guī)范器。MIRAS將「遺忘機(jī)制」重新解釋為一種特定的正則化形式，平衡新學(xué)習(xí)與保留過去知識(shí)。

• 內(nèi)存算法：用于更新內(nèi)存的優(yōu)化算法。

這些新架構(gòu)最顯著的優(yōu)勢(shì)是能夠處理極長(zhǎng)的上下文。

這一點(diǎn)在BABILong基準(zhǔn)測(cè)試中得到了體現(xiàn)，該任務(wù)需要在極長(zhǎng)的文檔中對(duì)事實(shí)進(jìn)行推理。

在這一充滿挑戰(zhàn)的環(huán)境中，Titans的表現(xiàn)優(yōu)于所有基線，包括像GPT-4這樣極其龐大的模型，盡管參數(shù)遠(yuǎn)少于GPT-4。

Titans進(jìn)一步展示了能夠有效擴(kuò)展到超過200萬(wàn)個(gè)令牌的上下文窗口。

Titans和MIRAS框架的引入標(biāo)志著序列建模的重大進(jìn)展。

通過將深度神經(jīng)網(wǎng)絡(luò)作為記憶模塊，在數(shù)據(jù)流入時(shí)學(xué)習(xí)記憶，這些方法克服了固定大小的循環(huán)狀態(tài)的局限。

此外，MIRAS提供了強(qiáng)大的理論統(tǒng)一，揭示了在線優(yōu)化、聯(lián)想記憶與架構(gòu)設(shè)計(jì)之間的聯(lián)系。

這項(xiàng)研究為新一代序列模型打開了大門，這些模型結(jié)合了RNN的高效與長(zhǎng)上下文人工智能時(shí)代所需的表達(dá)能力。

彩蛋

分別向Gemini和GPT詢問了Gemini 3 Pro和Flash的參數(shù)大小。

Gemini 3 Flash的回答：

基于截至2025年12月的最新行業(yè)信息和技術(shù)分析，官方并未公開Gemini 3 Pro和Gemini 3 Flash的確切模型參數(shù)大小。這是谷歌自 Gemini 1.0以來(lái)的一貫策略，主要為了保護(hù)架構(gòu)機(jī)密。

不過，根據(jù)技術(shù)白皮書的推斷、行業(yè)泄露信息以及對(duì)其性能（Token 生成速度和顯存占用）的逆向分析，目前的主流估算（數(shù)量級(jí)）如下

GPT 5.2的回答：

總之，Pro和Flash這兩模型的參數(shù)數(shù)量級(jí)差了將近5～10倍（估算）。因此，F(xiàn)lash的使用體驗(yàn)遠(yuǎn)超預(yù)期，才會(huì)引起社區(qū)廣泛的討論。

參考資料：

https://research.google/blog/titans-miras-helping-ai-have-long-term-memory/

https://x.com/bycloudai/status/2002347892535930934

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！