最具爭議性研究：大模型中間層輸出可 100% 反推原始輸入

大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自AI科技評論

作者丨鄭佳美

編輯丨馬曉寧

最近，一篇名為《Language Models are Injective and Hence Invertible》的論文在學(xué)術(shù)界和科技圈引起了廣泛討論，甚至連老馬的 Grok 官方也下場轉(zhuǎn)發(fā)。

這篇論文出自意大利羅馬第一大學(xué)（Sapienza University of Rome）的GLADIA Research Lab，文中提出了一個頗有爭議卻又耐人尋味的觀點：主流的 Transformer 語言模型在信息處理過程中幾乎不會丟失任何輸入內(nèi)容，從數(shù)學(xué)意義上看，它們是可逆的。

換句話說，模型的隱藏狀態(tài)并不是模糊的語義壓縮，而是一種能夠完整保留輸入信息的精確重編碼。這一發(fā)現(xiàn)不僅挑戰(zhàn)了人們對語言模型“理解”機制的傳統(tǒng)認(rèn)識，也讓研究者開始思考一個更具體的問題：這種理論上的信息保持，在實際模型中是否真的存在？

為了回答這一問題，作者設(shè)計并實施了一系列大規(guī)模實驗，試圖從實證角度驗證 Transformer 的可逆性與單射特性。

01

Transformer 幾乎不會丟失信息

這篇論文的核心實驗結(jié)果指出：主流 Transformer 語言模型在實際應(yīng)用中幾乎總是單射的（injective），即不同的輸入文本會被映射到完全不同的隱藏狀態(tài)表示，沒有發(fā)生任何“碰撞”現(xiàn)象。

研究者在六個主流模型（GPT-2、Gemma-3、LLaMA-3.1、Mistral、Phi-4 和 TinyStories）上進(jìn)行了超過50 億次輸入對比測試，在所有模型的各個層中都未發(fā)現(xiàn)兩條不同輸入對應(yīng)相同隱藏表示的情況，驗證了模型在理論上所具備的單射性在實踐中同樣成立。

此外，作者提出的SIPIT（Sequential Inverse Prompt via Iterative Updates）算法成功地從模型的隱藏狀態(tài)中以 100% 準(zhǔn)確率重建了原始輸入文本，并且在運行效率上顯著優(yōu)于傳統(tǒng)方法。

無論是自然語言文本還是代碼樣本，SIPIT 都能在理論保證的線性時間內(nèi)完成精確恢復(fù)。這一結(jié)果表明，Transformer 模型不僅在數(shù)學(xué)上是信息保持的系統(tǒng)，在實際訓(xùn)練與推理中也確實保留了輸入的全部信息，驗證了語言模型的可逆性與結(jié)構(gòu)性無損特征。

02

Transformer 的自我驗證

這項研究的實驗經(jīng)過分為兩個主要階段：首先通過大規(guī)模實驗驗證 Transformer 模型在實踐中是否真的具備單射性，其次通過新的算法驗證模型是否能夠被完全反演。整個實驗設(shè)計嚴(yán)密、層層遞進(jìn)，目的是從理論和實證兩個層面證明語言模型不會丟失輸入信息。

在實驗準(zhǔn)備階段，研究團隊選擇了六種具有代表性的語言模型，包括 GPT-2、Gemma-3、LLaMA-3.1、Mistral、Phi-4-mini 和 TinyStories。這些模型涵蓋了不同規(guī)模與訓(xùn)練方式的 Transformer 架構(gòu)。

為了保證實驗的全面性，研究者從多個語料庫中抽取樣本數(shù)據(jù)，包括 Wikipedia、C4、The Pile 以及 GitHub 上的 Python 代碼數(shù)據(jù)，共計十萬條輸入樣本，內(nèi)容既包含自然語言文本，也包含編程語言代碼。所有模型均在統(tǒng)一的硬件和軟件環(huán)境下運行，確保實驗結(jié)果可復(fù)現(xiàn)且無外部干擾。

實驗的第一部分旨在檢驗?zāi)Ｐ褪欠裾娴膶Σ煌斎氡３謪^(qū)分能力。研究者將每一條輸入依次輸入模型，提取各層中最后一個 token 的隱藏狀態(tài)，并計算所有樣本兩兩之間的歐氏距離。

如果出現(xiàn)距離小于 10?? 的情況，就意味著模型把兩個不同輸入映射到了幾乎相同的表示上，即發(fā)生“碰撞”。經(jīng)過超過五十億次樣本對比，結(jié)果顯示無論模型規(guī)模或?qū)訑?shù)，所有隱藏狀態(tài)之間的最小距離都遠(yuǎn)高于這一閾值，沒有出現(xiàn)任何碰撞現(xiàn)象。

進(jìn)一步的測試中，研究者挑選出十條語義最相近的樣本，針對這些樣本生成全部可能的組合輸入，并計算了超過三千億對比樣本的結(jié)果。即便在這樣極端的條件下，模型仍未出現(xiàn)任何隱藏狀態(tài)重合的情況。

這表明，Transformer 模型在實際運行中確實能保持輸入信息的唯一性。

第二部分實驗驗證模型是否具有可逆性，即能否從隱藏狀態(tài)恢復(fù)出原始輸入文本。研究者提出了一種名為 SIPIT 的新算法，其思想基于 Transformer 的因果結(jié)構(gòu)：第 t 個隱藏狀態(tài)僅依賴前 t?1 個 token 和當(dāng)前 token，因此可以從隱藏狀態(tài)逐步推理出輸入序列。

為了驗證算法的有效性，研究者僅將隱藏狀態(tài)作為輸入，不提供任何原始文本，讓算法從中反推出完整輸入。實驗結(jié)果顯示，SIPIT 能在理論保證的線性時間復(fù)雜度內(nèi)，以百分之百的準(zhǔn)確率恢復(fù)出所有原始輸入，并且運行速度顯著快于傳統(tǒng)的暴力枚舉方法。

無論是自然語言文本還是代碼數(shù)據(jù)，算法都能高效、準(zhǔn)確地完成輸入重建。

在驗證模型結(jié)構(gòu)特性的同時，研究團隊還分析了訓(xùn)練過程對單射性的影響。他們從數(shù)學(xué)上證明，梯度下降和隨機梯度下降都是可逆的連續(xù)變換，每一次參數(shù)更新都會保持模型參數(shù)分布的絕對連續(xù)性，不會讓模型坍縮到非單射狀態(tài)。

也就是說，Transformer 模型從初始化到訓(xùn)練完成的整個過程中，都能保持這種“信息不丟失”的特征。

總體而言，這一系列實驗以嚴(yán)格的理論推導(dǎo)為基礎(chǔ)，通過海量數(shù)據(jù)驗證和可逆算法的實踐檢驗，完整地證明了 Transformer 模型在結(jié)構(gòu)上和行為上都是單射的，并且能夠被完全反演。實驗的全過程充分體現(xiàn)了這一結(jié)論的普適性與穩(wěn)健性，表明語言模型在訓(xùn)練和推理中并不會丟失任何輸入信息。

03

突破與質(zhì)疑并存的「可逆性」研究

更進(jìn)一步地，這些結(jié)果不僅回答了“模型能否保持信息”的問題，也為理解 Transformer 的工作原理提供了新的視角。

從理論上看，這項研究打破了人們長期以來的假設(shè) —— 語言模型在內(nèi)部會壓縮信息，只保留語義層面的抽象特征。研究團隊證明，Transformer 實際上是一個信息保持的系統(tǒng)：模型在處理輸入時并不會丟失信息，而是以不同的方式對原始內(nèi)容進(jìn)行重編碼，而非降維或壓縮。

換句話說，模型的“理解”不是模糊的抽象，而是一種高度精確的重參數(shù)化。這為解釋 Transformer 的內(nèi)部機制提供了新的數(shù)學(xué)框架，也為研究模型的表示空間結(jié)構(gòu)和上下文依賴關(guān)系開辟了方向。

在實踐層面，這一發(fā)現(xiàn)帶來了重要的隱私與安全啟示。由于隱藏狀態(tài)在理論上可以反推出輸入文本，模型的中間層輸出在性質(zhì)上幾乎等同于原始數(shù)據(jù)。如果這些表示被存儲、傳輸或共享，可能會導(dǎo)致用戶輸入信息被間接暴露。

由此，開發(fā)者需要更加謹(jǐn)慎地處理模型內(nèi)部的激活值，重新審視安全接口設(shè)計，并在模型壓縮或蒸餾過程中考慮可逆性帶來的潛在風(fēng)險。與此同時，該研究也為模型可解釋性提供了新的研究思路：通過分析隱藏層信息的重構(gòu)方式，可以更清晰地理解模型語義抽象的形成過程。

然而，這一結(jié)論也在學(xué)術(shù)界和業(yè)界引發(fā)了討論。部分研究者指出，“可逆性”的數(shù)學(xué)證明并不意味著現(xiàn)實中的模型可以直接恢復(fù)輸入或提取訓(xùn)練數(shù)據(jù)。實際的大規(guī)模模型受到數(shù)值近似、量化誤差和隨機性等因素影響，難以實現(xiàn)嚴(yán)格意義上的單射性，不同輸入仍可能產(chǎn)生相似的內(nèi)部表示。

因此，即使掌握了中間層激活值，也并不意味著能準(zhǔn)確還原原文或繞過安全機制。

研究團隊在后續(xù)說明中也強調(diào)，他們的研究主要旨在從理論角度理解信息流動特征，而非提供可被濫用的攻擊途徑。其核心目標(biāo)是加深對語言模型內(nèi)部機制的認(rèn)識，并提醒業(yè)界在模型開發(fā)與部署中加強數(shù)據(jù)安全和隱私保護(hù)。

04

GLADIA Research Lab 是誰

這個 2025 年 5 月份才注冊 的神秘機構(gòu) GLADIA Research Lab 是意大利羅馬第一大學(xué)計算機科學(xué)系下的一個前沿人工智能研究團隊。

官方信息顯示，GLADIA Research Lab 目前共有 39 名研究人員，成員來自計算機科學(xué)、物理學(xué)、工程學(xué)和數(shù)學(xué)等多個學(xué)科。實驗室專注于探索人工智能系統(tǒng)的結(jié)構(gòu)創(chuàng)新與高效復(fù)用，其核心研究方向涵蓋模型合并與操控、無需額外訓(xùn)練的模型拼接、多模態(tài)學(xué)習(xí)，以及神經(jīng)網(wǎng)絡(luò)的重用與組合性。

而 GLADIA Research Lab 的研究愿景，是讓人工智能模型的開發(fā)與組合變得更加高效與靈活，他們希望把“構(gòu)建一個新模型”的周期，從過去的幾個月縮短到幾秒鐘。

這個團隊近段時間也在國際頂級學(xué)術(shù)會議上頻頻亮相，例如在ICML 2025和CVPR 2025上展示了關(guān)于模型合并與任務(wù)干擾優(yōu)化的研究成果，展現(xiàn)出他們在模型融合和生成式人工智能領(lǐng)域的創(chuàng)新實力與前沿地位。

除了模型結(jié)構(gòu)方面的研究，GLADIA 還在探索生成模型的更廣泛應(yīng)用。他們嘗試將 AI 的能力延伸到音樂創(chuàng)作、多模態(tài)內(nèi)容生成等更具創(chuàng)造性的方向，希望推動人工智能從“計算工具”邁向“創(chuàng)意伙伴”，在藝術(shù)與認(rèn)知交匯處開拓新的可能性。

GPU 訓(xùn)練特惠！

H100/H200 GPU算力按秒計費，平均節(jié)省開支30%以上！

掃碼了解詳情?

點「贊」的人都變好看了哦！