最具爭(zhēng)議性研究：大模型中間層輸出可 100% 反推原始輸入

大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自AI科技評(píng)論

作者丨鄭佳美

編輯丨馬曉寧

最近，一篇名為《Language Models are Injective and Hence Invertible》的論文在學(xué)術(shù)界和科技圈引起了廣泛討論，甚至連老馬的 Grok 官方也下場(chǎng)轉(zhuǎn)發(fā)。

這篇論文出自意大利羅馬第一大學(xué)（Sapienza University of Rome）的GLADIA Research Lab，文中提出了一個(gè)頗有爭(zhēng)議卻又耐人尋味的觀點(diǎn)：主流的 Transformer 語言模型在信息處理過程中幾乎不會(huì)丟失任何輸入內(nèi)容，從數(shù)學(xué)意義上看，它們是可逆的。

換句話說，模型的隱藏狀態(tài)并不是模糊的語義壓縮，而是一種能夠完整保留輸入信息的精確重編碼。這一發(fā)現(xiàn)不僅挑戰(zhàn)了人們對(duì)語言模型“理解”機(jī)制的傳統(tǒng)認(rèn)識(shí)，也讓研究者開始思考一個(gè)更具體的問題：這種理論上的信息保持，在實(shí)際模型中是否真的存在？

為了回答這一問題，作者設(shè)計(jì)并實(shí)施了一系列大規(guī)模實(shí)驗(yàn)，試圖從實(shí)證角度驗(yàn)證 Transformer 的可逆性與單射特性。

01

Transformer 幾乎不會(huì)丟失信息

這篇論文的核心實(shí)驗(yàn)結(jié)果指出：主流 Transformer 語言模型在實(shí)際應(yīng)用中幾乎總是單射的（injective），即不同的輸入文本會(huì)被映射到完全不同的隱藏狀態(tài)表示，沒有發(fā)生任何“碰撞”現(xiàn)象。

研究者在六個(gè)主流模型（GPT-2、Gemma-3、LLaMA-3.1、Mistral、Phi-4 和 TinyStories）上進(jìn)行了超過50 億次輸入對(duì)比測(cè)試，在所有模型的各個(gè)層中都未發(fā)現(xiàn)兩條不同輸入對(duì)應(yīng)相同隱藏表示的情況，驗(yàn)證了模型在理論上所具備的單射性在實(shí)踐中同樣成立。

此外，作者提出的SIPIT（Sequential Inverse Prompt via Iterative Updates）算法成功地從模型的隱藏狀態(tài)中以 100% 準(zhǔn)確率重建了原始輸入文本，并且在運(yùn)行效率上顯著優(yōu)于傳統(tǒng)方法。

無論是自然語言文本還是代碼樣本，SIPIT 都能在理論保證的線性時(shí)間內(nèi)完成精確恢復(fù)。這一結(jié)果表明，Transformer 模型不僅在數(shù)學(xué)上是信息保持的系統(tǒng)，在實(shí)際訓(xùn)練與推理中也確實(shí)保留了輸入的全部信息，驗(yàn)證了語言模型的可逆性與結(jié)構(gòu)性無損特征。

02

Transformer 的自我驗(yàn)證

這項(xiàng)研究的實(shí)驗(yàn)經(jīng)過分為兩個(gè)主要階段：首先通過大規(guī)模實(shí)驗(yàn)驗(yàn)證 Transformer 模型在實(shí)踐中是否真的具備單射性，其次通過新的算法驗(yàn)證模型是否能夠被完全反演。整個(gè)實(shí)驗(yàn)設(shè)計(jì)嚴(yán)密、層層遞進(jìn)，目的是從理論和實(shí)證兩個(gè)層面證明語言模型不會(huì)丟失輸入信息。

在實(shí)驗(yàn)準(zhǔn)備階段，研究團(tuán)隊(duì)選擇了六種具有代表性的語言模型，包括 GPT-2、Gemma-3、LLaMA-3.1、Mistral、Phi-4-mini 和 TinyStories。這些模型涵蓋了不同規(guī)模與訓(xùn)練方式的 Transformer 架構(gòu)。

為了保證實(shí)驗(yàn)的全面性，研究者從多個(gè)語料庫中抽取樣本數(shù)據(jù)，包括 Wikipedia、C4、The Pile 以及 GitHub 上的 Python 代碼數(shù)據(jù)，共計(jì)十萬條輸入樣本，內(nèi)容既包含自然語言文本，也包含編程語言代碼。所有模型均在統(tǒng)一的硬件和軟件環(huán)境下運(yùn)行，確保實(shí)驗(yàn)結(jié)果可復(fù)現(xiàn)且無外部干擾。

實(shí)驗(yàn)的第一部分旨在檢驗(yàn)?zāi)Ｐ褪欠裾娴膶?duì)不同輸入保持區(qū)分能力。研究者將每一條輸入依次輸入模型，提取各層中最后一個(gè) token 的隱藏狀態(tài)，并計(jì)算所有樣本兩兩之間的歐氏距離。

如果出現(xiàn)距離小于 10?? 的情況，就意味著模型把兩個(gè)不同輸入映射到了幾乎相同的表示上，即發(fā)生“碰撞”。經(jīng)過超過五十億次樣本對(duì)比，結(jié)果顯示無論模型規(guī)?；?qū)訑?shù)，所有隱藏狀態(tài)之間的最小距離都遠(yuǎn)高于這一閾值，沒有出現(xiàn)任何碰撞現(xiàn)象。

進(jìn)一步的測(cè)試中，研究者挑選出十條語義最相近的樣本，針對(duì)這些樣本生成全部可能的組合輸入，并計(jì)算了超過三千億對(duì)比樣本的結(jié)果。即便在這樣極端的條件下，模型仍未出現(xiàn)任何隱藏狀態(tài)重合的情況。

這表明，Transformer 模型在實(shí)際運(yùn)行中確實(shí)能保持輸入信息的唯一性。

第二部分實(shí)驗(yàn)驗(yàn)證模型是否具有可逆性，即能否從隱藏狀態(tài)恢復(fù)出原始輸入文本。研究者提出了一種名為 SIPIT 的新算法，其思想基于 Transformer 的因果結(jié)構(gòu)：第 t 個(gè)隱藏狀態(tài)僅依賴前 t?1 個(gè) token 和當(dāng)前 token，因此可以從隱藏狀態(tài)逐步推理出輸入序列。

為了驗(yàn)證算法的有效性，研究者僅將隱藏狀態(tài)作為輸入，不提供任何原始文本，讓算法從中反推出完整輸入。實(shí)驗(yàn)結(jié)果顯示，SIPIT 能在理論保證的線性時(shí)間復(fù)雜度內(nèi)，以百分之百的準(zhǔn)確率恢復(fù)出所有原始輸入，并且運(yùn)行速度顯著快于傳統(tǒng)的暴力枚舉方法。

無論是自然語言文本還是代碼數(shù)據(jù)，算法都能高效、準(zhǔn)確地完成輸入重建。

在驗(yàn)證模型結(jié)構(gòu)特性的同時(shí)，研究團(tuán)隊(duì)還分析了訓(xùn)練過程對(duì)單射性的影響。他們從數(shù)學(xué)上證明，梯度下降和隨機(jī)梯度下降都是可逆的連續(xù)變換，每一次參數(shù)更新都會(huì)保持模型參數(shù)分布的絕對(duì)連續(xù)性，不會(huì)讓模型坍縮到非單射狀態(tài)。

也就是說，Transformer 模型從初始化到訓(xùn)練完成的整個(gè)過程中，都能保持這種“信息不丟失”的特征。

總體而言，這一系列實(shí)驗(yàn)以嚴(yán)格的理論推導(dǎo)為基礎(chǔ)，通過海量數(shù)據(jù)驗(yàn)證和可逆算法的實(shí)踐檢驗(yàn)，完整地證明了 Transformer 模型在結(jié)構(gòu)上和行為上都是單射的，并且能夠被完全反演。實(shí)驗(yàn)的全過程充分體現(xiàn)了這一結(jié)論的普適性與穩(wěn)健性，表明語言模型在訓(xùn)練和推理中并不會(huì)丟失任何輸入信息。

03

突破與質(zhì)疑并存的「可逆性」研究

更進(jìn)一步地，這些結(jié)果不僅回答了“模型能否保持信息”的問題，也為理解 Transformer 的工作原理提供了新的視角。

從理論上看，這項(xiàng)研究打破了人們長(zhǎng)期以來的假設(shè) —— 語言模型在內(nèi)部會(huì)壓縮信息，只保留語義層面的抽象特征。研究團(tuán)隊(duì)證明，Transformer 實(shí)際上是一個(gè)信息保持的系統(tǒng)：模型在處理輸入時(shí)并不會(huì)丟失信息，而是以不同的方式對(duì)原始內(nèi)容進(jìn)行重編碼，而非降維或壓縮。

換句話說，模型的“理解”不是模糊的抽象，而是一種高度精確的重參數(shù)化。這為解釋 Transformer 的內(nèi)部機(jī)制提供了新的數(shù)學(xué)框架，也為研究模型的表示空間結(jié)構(gòu)和上下文依賴關(guān)系開辟了方向。

在實(shí)踐層面，這一發(fā)現(xiàn)帶來了重要的隱私與安全啟示。由于隱藏狀態(tài)在理論上可以反推出輸入文本，模型的中間層輸出在性質(zhì)上幾乎等同于原始數(shù)據(jù)。如果這些表示被存儲(chǔ)、傳輸或共享，可能會(huì)導(dǎo)致用戶輸入信息被間接暴露。

由此，開發(fā)者需要更加謹(jǐn)慎地處理模型內(nèi)部的激活值，重新審視安全接口設(shè)計(jì)，并在模型壓縮或蒸餾過程中考慮可逆性帶來的潛在風(fēng)險(xiǎn)。與此同時(shí)，該研究也為模型可解釋性提供了新的研究思路：通過分析隱藏層信息的重構(gòu)方式，可以更清晰地理解模型語義抽象的形成過程。

然而，這一結(jié)論也在學(xué)術(shù)界和業(yè)界引發(fā)了討論。部分研究者指出，“可逆性”的數(shù)學(xué)證明并不意味著現(xiàn)實(shí)中的模型可以直接恢復(fù)輸入或提取訓(xùn)練數(shù)據(jù)。實(shí)際的大規(guī)模模型受到數(shù)值近似、量化誤差和隨機(jī)性等因素影響，難以實(shí)現(xiàn)嚴(yán)格意義上的單射性，不同輸入仍可能產(chǎn)生相似的內(nèi)部表示。

因此，即使掌握了中間層激活值，也并不意味著能準(zhǔn)確還原原文或繞過安全機(jī)制。

研究團(tuán)隊(duì)在后續(xù)說明中也強(qiáng)調(diào)，他們的研究主要旨在從理論角度理解信息流動(dòng)特征，而非提供可被濫用的攻擊途徑。其核心目標(biāo)是加深對(duì)語言模型內(nèi)部機(jī)制的認(rèn)識(shí)，并提醒業(yè)界在模型開發(fā)與部署中加強(qiáng)數(shù)據(jù)安全和隱私保護(hù)。

04

GLADIA Research Lab 是誰

這個(gè) 2025 年 5 月份才注冊(cè) 的神秘機(jī)構(gòu) GLADIA Research Lab 是意大利羅馬第一大學(xué)計(jì)算機(jī)科學(xué)系下的一個(gè)前沿人工智能研究團(tuán)隊(duì)。

官方信息顯示，GLADIA Research Lab 目前共有 39 名研究人員，成員來自計(jì)算機(jī)科學(xué)、物理學(xué)、工程學(xué)和數(shù)學(xué)等多個(gè)學(xué)科。實(shí)驗(yàn)室專注于探索人工智能系統(tǒng)的結(jié)構(gòu)創(chuàng)新與高效復(fù)用，其核心研究方向涵蓋模型合并與操控、無需額外訓(xùn)練的模型拼接、多模態(tài)學(xué)習(xí)，以及神經(jīng)網(wǎng)絡(luò)的重用與組合性。

而 GLADIA Research Lab 的研究愿景，是讓人工智能模型的開發(fā)與組合變得更加高效與靈活，他們希望把“構(gòu)建一個(gè)新模型”的周期，從過去的幾個(gè)月縮短到幾秒鐘。

這個(gè)團(tuán)隊(duì)近段時(shí)間也在國(guó)際頂級(jí)學(xué)術(shù)會(huì)議上頻頻亮相，例如在ICML 2025和CVPR 2025上展示了關(guān)于模型合并與任務(wù)干擾優(yōu)化的研究成果，展現(xiàn)出他們?cè)谀Ｐ腿诤虾蜕墒饺斯ぶ悄茴I(lǐng)域的創(chuàng)新實(shí)力與前沿地位。

除了模型結(jié)構(gòu)方面的研究，GLADIA 還在探索生成模型的更廣泛應(yīng)用。他們嘗試將 AI 的能力延伸到音樂創(chuàng)作、多模態(tài)內(nèi)容生成等更具創(chuàng)造性的方向，希望推動(dòng)人工智能從“計(jì)算工具”邁向“創(chuàng)意伙伴”，在藝術(shù)與認(rèn)知交匯處開拓新的可能性。

GPU 訓(xùn)練特惠！

H100/H200 GPU算力按秒計(jì)費(fèi)，平均節(jié)省開支30%以上！

掃碼了解詳情?

點(diǎn)「贊」的人都變好看了哦！