NeurIPS 2025 | DePass：通過單次前向傳播分解實(shí)現(xiàn)統(tǒng)一特征歸因

共同一作：洪翔宇，清華大學(xué)電子系大四本科生，曾獲清華大學(xué)蔣南翔獎學(xué)金等，曾在NeurIPS，EMNLP，NAACL等頂級會議上發(fā)表論文。姜澈，清華大學(xué)電子系博士三年級在讀，主要研究方向?yàn)長LM Interpretebility，LLM Agent，曾在NeurIPS，ICML，EMNLP，NAACL等頂級會議上發(fā)表論文。

隨著大型語言模型在各類任務(wù)中展現(xiàn)出卓越的生成與推理能力，如何將模型輸出精確地追溯到其內(nèi)部計(jì)算過程，已成為 AI 可解釋性研究的重要方向。然而，現(xiàn)有方法往往計(jì)算代價(jià)高昂、難以揭示中間層的信息流動；同時(shí)，不同層面的歸因（如 token、模型組件或表示子空間）通常依賴各自獨(dú)立的特定方法，缺乏統(tǒng)一且高效的分析框架。

針對這一問題，來自清華、上海 AI Lab 的研究團(tuán)隊(duì)提出了全新的統(tǒng)一特征歸因框架——DePass（Decomposed Forward Pass）。

該方法通過將前向傳播中的每個隱藏狀態(tài)分解為多個可加子狀態(tài)，并在固定注意力權(quán)重與 MLP 激活的情況下對其逐層傳播，實(shí)現(xiàn)了對 Transformer 內(nèi)部信息流的無損分解與精確歸因。借助 DePass，研究者能夠在輸入 token、注意力頭、神經(jīng)元乃至殘差流子空間等多個層面上進(jìn)行歸因分析，為機(jī)制可解釋性研究提供了統(tǒng)一而細(xì)粒度的新視角。

• 論文標(biāo)題：DePass: Unified Feature Attributing by Simple Decomposed Forward Pass
• 論文鏈接： https://arxiv.org/pdf/2510.18462
• 代碼鏈接： https://github.com/TsinghuaC3I/Decomposed-Forward-Pass

問題分析：

現(xiàn)有歸因方法的局限性

現(xiàn)有的歸因方法大致可以分為以下幾類：

• 基于噪聲消融和激活修補(bǔ)的方法：這些方法通過直接對模型的所有模塊施加噪聲或修補(bǔ)激活值來分析模型行為，但計(jì)算成本高昂，且難以洞察中間信息流。
• 基于梯度的歸因方法：這類方法在理論上面臨挑戰(zhàn)，難以提供細(xì)粒度的解釋。
• 基于模型近似或抽象的方法：雖然部分方法能夠與人類認(rèn)知對齊，但通常無法達(dá)到細(xì)粒度的組件級別（如神經(jīng)元或注意力頭），且非保守的近似可能會損害歸因的可信度。

DePass：

一種全新的歸因框架

實(shí)驗(yàn)驗(yàn)證：

DePass 的有效性

DePass 提供了一個統(tǒng)一的歸因框架，支持在輸入 token、注意力頭、神經(jīng)元以及殘差流子空間等多個層面進(jìn)行一致歸因，無需修改模型結(jié)構(gòu)或依賴任務(wù)特定近似，并可自然銜接人類推理及稀疏字典學(xué)習(xí)（如 SAE）等方法。研究團(tuán)隊(duì)在 token 級、模型組件級和子空間級歸因任務(wù)上驗(yàn)證了 DePass 的有效性：

Token-Level DePass——輸出歸因到輸入：精準(zhǔn)識別驅(qū)動預(yù)測的核心證據(jù)

我們首先在輸出到輸入 token 的歸因任務(wù)上驗(yàn)證了 DePass 的表現(xiàn)，目標(biāo)是評估每個輸入 token 對模型最終輸出的實(shí)際貢獻(xiàn)。

在「Disrupt-top」實(shí)驗(yàn)中，移除 DePass 判定最關(guān)鍵的 tokens 會導(dǎo)致模型輸出概率急劇下降，表明其捕捉到了真正驅(qū)動預(yù)測的核心證據(jù)；而在「Recover-top」實(shí)驗(yàn)中，DePass 保留的極少量 tokens 依然能高度恢復(fù)模型判斷。這表明 DePass 能夠更忠實(shí)地刻畫模型內(nèi)部的信息流動與輸入貢獻(xiàn)關(guān)系，實(shí)現(xiàn)高可信度的 token 級歸因分析。

Token-Level DePass——子空間歸因到輸入：追蹤子空間信號的 token 來源

DePass 不僅能在 token 層面追蹤預(yù)測依據(jù)，還能精準(zhǔn)定位哪些輸入 token 激活了模型中「特定方向/特定語義子空間」的信號（例如「truthfulness」方向），從而識別出影響模型判斷的關(guān)鍵來源（如誤導(dǎo)性信息），并顯著提升模型的可控性與可解釋性。

在事實(shí)性任務(wù)中，團(tuán)隊(duì)利用 DePass 將「虛假信息子空間」拆解后，進(jìn)一步將其激活分配到每個輸入 token。歸因結(jié)果清晰揭示了哪些詞觸發(fā)了模型的錯誤方向。基于這些 token 進(jìn)行定向遮罩后，模型在 CounterFact 上的事實(shí)性準(zhǔn)確率從約10% → 40%+大幅提升，顯著優(yōu)于現(xiàn)有 probe-based masking 方法。

Model-Component-Level DePass——模型組件級歸因：觀察注意力頭與 MLP 神經(jīng)元的實(shí)際功能

DePass 能直接量化每個注意力頭與 MLP 神經(jīng)元對預(yù)測的真實(shí)貢獻(xiàn)，在遮罩實(shí)驗(yàn)中顯著優(yōu)于梯度、激活等傳統(tǒng)重要性指標(biāo)。

當(dāng)遮罩 DePass 判定的「重要組件」（Top-k Masking）時(shí)，模型準(zhǔn)確率下降更快；當(dāng)僅保留「最不重要組件」（Bottom-k Masking）時(shí)，模型性能保持得更好。這說明 DePass 識別的組件重要性具備更高的敏感性、完備性、因果性，在 IOI 與 CounterFact 等任務(wù)上均顯著超越 AtP、Norm 等主流歸因指標(biāo)。

Subspace-Level DePass——子空間級歸因

DePass 還可以用于研究隱狀態(tài)中不同子空間之間的相互作用，以及這些子空間對最終輸出的影響。我們以語言子空間（language subspace）為例進(jìn)行分析。

我們訓(xùn)練了一個語言分類器，并將其權(quán)重方向作為語言子空間的基向量。隨后，將中間層的隱狀態(tài)分別投影到語言子空間與其正交語義子空間中；兩部分隱狀態(tài)在網(wǎng)絡(luò)中分別獨(dú)立傳播至最終層，并通過 LM Head 解碼，以觀察其對應(yīng)輸出。

• 語言子空間：經(jīng) t-SNE 顯示形成清晰的語言聚類（如英文/法文/德文），體現(xiàn)語言特征集中分布。
• 語義子空間：獨(dú)立解碼結(jié)果跨語言一致，例如無論輸入語言為何，都會生成相同的事實(shí)答案（如「Dutch」）。

這一結(jié)果說明 DePass 能忠實(shí)保留并傳播子空間的功能屬性，為跨語言解釋和語義分解提供了全新視角。

（左）對 token 在語言子空間上的投影進(jìn)行 t-SNE 可視化。（右）針對不同多語言提示語，從語言子空間與語義子空間中解碼得到的前五個 token

總結(jié)

DePass 作為一種基于分解前向傳播的 Transformer 解釋框架，兼具簡潔性與高效性。通過凍結(jié)并分配注意力得分和 MLP 激活，DePass 實(shí)現(xiàn)了無損的加性分解，可無縫適配各種 Transformer 架構(gòu)。

實(shí)驗(yàn)結(jié)果表明，DePass 在多層次粒度的歸因分析中具有更高的忠實(shí)性。我們期望 DePass 能成為機(jī)制可解釋性研究中的通用工具，推動社區(qū)在更廣泛的任務(wù)與模型上探索其潛力與應(yīng)用。