不止于Prompt：揭秘「神經網絡可重編程性」

從模型重編程（Model Reprogramming），到參數高效微調（PEFT），再到當下大模型時代的 Prompt Tuning ，Prompt Instruction 和 In-context Learning，研究者和從業人員不斷地探索一個核心問題：在盡量不改動模型參數的前提下，如何最大化地復用預訓練模型的能力？

過去幾年，這類方法在不同社區中以各自獨立的形式快速發展 —— 有的來自對抗魯棒性與遷移學習，有的服務于下游任務適配，有的則成為大模型對齊與應用的基礎工具。然而，這些看似分散的技術路線，背后是否存在一個更統一、更本質的理論視角？

近期，來自墨爾本大學可信賴機器學習與推理（TMLR）研究小組和 IBM AI 研究所的研究者系統性地提出了「神經網絡可重編程性（Neural Network Reprogrammability）」這一統一主題，在最近的一篇 survey 中，將模型重編程，Prompt Tuning、Prompt Instruction 和 In-context Learning 納入同一分析框架，從操縱位置、操縱類型、操縱算子和輸出對齊四個維度進行了系統梳理與對比。同時，該團隊也在AAAI 2026上帶來同名 Tutorial，幫助研究者與工程實踐者全面理解這一正在重塑模型使用范式的關鍵能力。

• Tutorial 標題：Neural Network Reprogrammability: A Unified Framework for Parameter-Efficient Foundation Model Adaptation
• 論文標題：Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction
• Arxiv: https://arxiv.org/pdf/2506.04650
• GitHub: https://zyecs.github.io/awesome-reprogrammability/tutorial-AAAI26/

1. 模型訓練范式的轉變

在本文中，我們認為隨著預訓練模型（pre-trained model）規模的增長，其適配下游任務（downstream tasks）的范式已經發生了根本性轉變：從傳統的基于模型參數調整的適配（圖 1a）轉變為了基于模型可重編程性的適配（圖 1b）。

傳統適配技術（parameter-centric adaptation, PCA）通過重新訓練預訓練模型，修改模型內部參數，使其適用于新的下游任務。例如，將 ImageNet 預訓練的圖像分類器應用于貓狗分類任務時，需要至少改變分類頭，甚至重新訓練其他層的參數，即我們通常所說的 fine-tuning，本質上改變了模型學習到的內部表征（representation），并需要為每個下游任務維護一份新的參數拷貝。

新興適配技術（基于模型可重編程性的適配，reprogrammability-centric adaptation, RCA）則采用了一種不同的理念：保持模型參數凍結，轉而策略性地修改任務呈現的方式，通過精心設計下游任務的輸入變換（包括模型輸入（input）、提示（prompt）或上下文信息（context）），以及模型輸出對齊方式（output）來使其兼容下游任務，使用極少量可訓練參數（甚至完全不引入新參數），在不觸及模型權重的情況下「重編程」預訓練模型的行為。

核心轉變體現在理念上的轉換：從「修改模型以適應任務」轉向「修改任務以適應模型」，從而使我們能以最小的計算開銷在不同任務中重復使用預訓練模型，同時保持其原有能力。同一個凍結的模型僅通過改變與其「對話」的方式，就能處理多種不同的任務。

2. 可重編程性范式的效率優勢

具體實驗數據表明（圖 2），相較 PCA，RCA 在參數效率上有明顯優勢。將 ImageNet 預訓練的視覺 Transformer（ViT-B/32）適配到遙感圖像分類任務（EuroSAT）。柱狀圖顯示不同 fine-tune 策略的參數需求：從左到右分別對應 fully fine-tune 到逐步減少可訓練層數的各種配置，訓練參數量隨之下降。但即便是最輕量的 PCA 方案仍需要大量參數。

形成對比的是，紅色虛線顯示 RCA 需要的訓練參數始終比任何 PCA 配置少 2-3 個數量級。這些參數用于輸入變換和輸出對齊，而不是修改預訓練模型的內部權重。

這表明，在可以實現 comparable performance 前提下，RCA 的參數效率更高，使得在資源受限環境中適配大模型成為可能，并支持同時適配多個任務而不會出現災難性遺忘。在預訓練模型規模與能力不斷提升、獲取方式日趨不透明（如商業模型僅提供 API 接口）的背景下，RCA 的優勢愈發突出。

3. 可重編程性范式的「多種稱謂」

然而，我們發現相似甚至相同的模型適配方法在不同研究社區卻有著截然不同的命名：NLP 社區常稱之為「prompt tuning」，而 ML 文獻中研究者更傾向于使用 「model reprogramming」指代這類方法。經驗上，這種術語混亂也經常引發 「哪種方法更優」、「為何不比較其他方法」等爭論。

核心問題在于：prompt tuning，model reprogramming，甚至 in-context learning 真的代表不同的模型適配方法嗎？答案是否定的。盡管表現形式各異，這些方法實質上都利用了神經網絡的同一固有屬性 -- neural network reprogrammability （神經網絡可重編程性，圖 3）。基于這一認識，我們提出統一框架來連接三個獨立發展的研究領域，并系統性地描述和歸類這些適配方法。

關鍵點 1. 可重編程性的普適性。

它具備架構無關性和模態無關性，跨越三個核心維度：適配方法，預訓練模型架構（單模態類型、多模態模型、專門架構），以及數據類型（圖像、文本、音頻、圖結構等） -- 無論具體實現細節如何，圍繞模型接口的信息操作（information manipulation at model’s interfaces）這一共同的底層原理，我們都能將任意預訓練模型適配到任意下游任務。

4. 可重編程性范式的首次提出（ICLR 2019）

那么什么是 reprogrammability 呢？下面這張圖片展示了從神經網絡對于對抗樣本的脆弱性（sensitivity to adversarial examples）向可重編程性（reprogrammability）的演進。圖片來自文章《Adversarial reprogramming of neural networks》由 G. F. Elsayed, I. Goodfellow, and J. Sohl-Dickstein. 發表于 ICLR 2019.

左側（傳統對抗樣本 adversarial example）：展示了經典對抗攻擊，在熊貓圖像上添加不可察覺的噪聲，就能使 ImageNet 分類器將其錯分為長臂猿，置信度高達 99.3%，盡管圖像在人眼看來沒有變化。

右側（對抗重編程 adversarial reprogramming）：展示了如何將這種脆弱性轉化為建設性用途。我們不僅欺騙模型，同時將其「重編程」以執行完全不同的任務：

• （a）展示了一個黑白格圖像的計數任務，我們可以人為將不同的動物類別映射到方塊數量類別（1-10 個方塊）
• （b）展示了「對抗程序」（adversarial program） -- 精心設計的噪聲，充當指導模型行為的指令（可以理解為 prompt）
• （c）將（a）和（b）結合后，僅在 object recognition 任務上預訓練的 ImageNet 分類器被「重編程」以執行方格計數任務，可以輸出「4 個方格」的預測結果（從源域的「虎鯊」類映射得到）

關鍵點 2. 巧妙利用神經網絡的敏感性。

由對抗樣本發現的神經網絡敏感性（理論背景包括決策邊界的不連續性等），正是可重編程性的基礎。我們不再將這種敏感性僅視為安全缺陷，而是建設性地利用它，在不重新訓練的情況下將預訓練模型重定向到新的任務。精心設計的 program/prompt 可以將神經網絡感知的弱點轉化為高效的適配機制。

5. 可重編程性范式的數學表達

如上，我們給出 neural network reprogrammability 統一框架的定義，涵蓋了文章中討論的各類模型適配方法。定義如下：

6. 可重編程性范式的具體案例

以視覺 - 語言模型（Vision-Language Model）為例，說明三種可重編程方法在實現上的差異（如圖 4 所示）。

• （4a） model reprogramming （MR）：主要在模型原始輸入層操作。可學習的擾動直接添加到輸入圖像上。模型通過圖像和文本編碼器處理這些修改后的輸入，需要輸出對齊將模型的原始預測映射到新的目標任務。這種方法適用于可訪問模型的輸入和輸出，但對內部模型組件控制有限的情況。
• （4b） prompt tuning （PT）：主要在中間表示層操作。可學習的 tokens 或嵌入（embedding）被插入到模型的內部層（包括圖像編碼器和文本編碼器）。這些「軟提示」可以在嵌入層（embedding layer）或隱藏層（hidden layers）進行前置或插值，在保持核心參數凍結的同時允許對模型內部處理進行更直接的控制。
• （4c） prompt instruction （PI）：通過上下文演示（contextual demonstration）操作。該方法不使用可學習參數，而是提供多個示例圖像和明確的文本指令來引導模型行為。模型從提供的演示中「上下文」學習任務，無需任何參數更新。該方法的有效性主要在 LLMs 和 large vision-language model/multi-modal LLMs 上可觀察到。
• 操作位置：輸入空間 （MR） → 嵌入 / 隱藏空間 （PT） → 輸入空間 （PI）
• 參數需求：可學習擾動 （MR） → 可學習 tokens（PT） → 無新參數 （PI）
• 訪問要求：輸入訪問 （MR） → 白盒訪問 （PT） → API 級訪問 （PI）

本質上，三種方法都實現了相同目標 -- 將凍結模型重新用于新任務 -- 通過計算圖中的不同路徑實現。

Neural network reprogrammability 如何在不同模態和任務中具體實現呢？

（a） model reprogramming for 圖像分類任務（圖 5a）：

• 輸入操縱：目標圖像經過調整大小并與可學習擾動模式 λ 結合。這將目標任務輸入轉換為預訓練分類器可處理的格式。
• 預訓練模型：凍結的圖像分類器 （如 ResNet, ViT） 處理操縱后的輸入。
• 輸出對齊：將分類器的原始類別預測轉換到目標任務的標簽空間（不同類別，可能不同數量的類別）。即實現了 Label Mapping 步驟，不需要額外的訓練參數。
• 訓練：僅通過反向傳播優化擾動參數 λ，模型權重保持凍結。

（b） prompt tuning for 文本生成任務（圖 5b）：

• 輸入操縱：可學習的 prompt tokens λ 通過拼接操作前置到目標文本輸入。
• 預訓練模型：凍結的 language generator（如 GPT）處理提示增強的輸入。
• 輸出對齊：因為模型已經在目標文本空間輸出，無需額外轉換。
• 訓練：僅優化提示參數 λ，保持生成器完全凍結。

關鍵點 3. 數學框架下的一致性。

盡管操縱不同模態（視覺 vs 語言）、任務類型（分類 vs 生成）并使用不同的輸入操縱策略（加性擾動 vs 連接提示），兩種方法都遵循完全相同的數學框架。

7. 基于可重編程性范式，歸納現有方法

基于這個特性，我們進一步提出了一個分類法（taxonomy），將過往的研究工作組織為跨四個維度的連貫結構，并展示了 neural network reprogrammability 這一框架的泛用性。

• 操縱位置：定義輸入操縱發生在預訓練模型的哪個接口，包括原始輸入空間（input space），嵌入空間（embedding space），以及隱藏空間（hidden space）
• 操縱類型：定義輸入操縱的類型，分為可優化（learnable）和固定（fixed）
• 操縱算子：定義輸入操縱如何被應用到目標數據（target input）上，包括加性（additive）、拼接（concatenative）、參數化（parametric）算子
• 輸出對齊：定義是否模型輸出需要進行額外操作以對齊目標任務（target output），包括恒等映射 （identity mapping）、結構變換（structural alignment）、統計變換（statistical alignment）、線性變換（linear alignment）

對應地，MR，PT 和 PI 對應的研究方法可以被系統歸類，如表格 2 所示。

8. 如何用可重編程性范式來理解 In-context learning 和 Chain-of-Thought Reasoning

特別地，LLM 的上下文學習 in-context learning （ICL） 在該框架下可以描述為

• 固定輸入操縱：無訓練參數，依賴人為設計的 demonstration examples
• 原始輸入空間操縱：demonstration example 直接與模型的 text query 拼接
• 拼接操縱算子：demonstration example 通過拼接操作
• 隱式輸出對齊：無需額外顯式映射，預訓練模型直接生成目標輸出或依靠模型自身能力對輸出進行基于規則的格式、結構調整（見下圖示例，ChatGPT 可以直接對模型輸出的 natural language 進行格式限制，e.g., bullet list, LaTeX）

因此，模型通過這些示例在「上下文」中學習目標任務的模式，且無需任何參數更新。Demonstration examples 本質上是一種輸入操縱，通過策略性構造輸入，從而重編程模型行為。

對應地，思維鏈推理（Chain-of-Thought Reasoning）可被認為是一種通過融入結構化、與輸入樣本特定相關的（sample-specific）「推理形式」的輸入操縱。

• 輸入操縱：具備增強的上下文信息，不僅包含輸入 - 輸出對，還包含明確的中間推理步驟。例如，解決數學問題時，CoT 會包含「問題 -> 第一步計算 -> 第二步計算 ->…-> 最終步驟」的完整推理過程。另外，每個目標輸入 query 都會觸發模型生成與該具體 query 匹配的推理鏈。比如解決「23×47=?」時，模型會生成針對這兩個具體數字的逐步計算過程，而不僅是通用的乘法公式。
• 輸出對齊：由于模型輸出完整的推理序列（「首先計算 23×40=920，然后計算 23×7=161，最后 920+161=1081」），因此需要結構化、基于規則的解析機制（structural alignment）從這個推理文本中提取最終數值答案。

9. 資源分享：Awesome Neural Network Reprogrammability 資源庫

為了方便社區追蹤這一飛速發展的領域的最新進展，我們維護了一個 Awesome 風格的資源庫，收錄并持續更新 Neural Network Reprogrammability 領域的最新論文和代碼實現。希望這個資源庫能讓你少走彎路！

• GitHub: https://zyecs.github.io/awesome-reprogrammability/

如果你正在做相關方向，歡迎在 GitHub 上 star 支持，或者來倉庫一起補全與更新！