突破萬次連續編輯極限！中科院提出首個理論保穩的知識保留方法

新智元報道

編輯：LRST

【新智元導讀】LyapLock首次讓大模型在上萬次知識更新中穩住舊記憶、精準學新知。它用「虛擬隊列」實時監控遺忘風險，動態平衡新舊知識，理論保證長期不崩盤，編輯效果比主流方法提升11.89%，還能賦能現有模型，讓AI真正學會「持續成長」。

大型語言模型通常包含事實上不正確或過時的知識，這催生了用于實現精確知識更新的模型編輯方法。然而，由于缺乏適當的長期知識保留機制，當前主流的「先定位后編輯」方法在連續編輯過程中表現出漸進式的性能下降。

為了解決這個問題，中科院信工所的研究人員提出了LyapLock，將連續編輯建模為一個受約束的隨機規劃問題。鑒于累積保留誤差約束以及逐漸揭示的編輯任務所帶來的挑戰。

論文鏈接： https://arxiv.org/pdf/2505.15702

LyapLock整合了排隊論和李雅普諾夫（Lyapunov）優化，將長期的約束規劃分解為易于處理的逐步子問題，從而實現高效求解。

這是第一個具備嚴格理論保證的模型編輯框架，在滿足長期知識保留約束的同時，實現了漸近最優的編輯性能。

實驗結果表明，該框架將連續編輯的能力擴展到了10,000次以上，在穩定模型通用能力的同時，其平均編輯效果比當前最先進（SOTA）的基線方法提升了11.89%。此外，該框架還可以被用來增強現有基線方法的性能。

研究背景

目前主流的「先定位后編輯（Locate-then-edit）」范式（比如大名鼎鼎的ROME和MEMIT）在單次知識更新上極其精準。為了讓它們適應連續編輯，近期的研究（如RECT、AlphaEdit）嘗試在參數搜索時加入正則化或零空間投影等啟發式約束 。

痛點在于：這些方法本質上都是短視的。

• 它們大都只專注于眼前的單步增量優化，缺乏一個嚴謹的理論框架來管控連續編輯在長期帶來的累積效應 。

• 每次編輯似乎只破壞了一點點原有知識，但一萬次編輯之后，累積的保留損失（Preservation Loss）會呈現單調上漲的失控態勢 。

• 實驗殘酷地證明了這一點：在連續編輯10,000個樣本后，所有主流基線方法在下游任務上的性能幾乎全部掉到了零點（圖1）。

圖1：基線方法Preservation Loss爆炸和下游任務F1歸零的折線圖

研究方法

既然頭痛醫頭腳痛醫腳不行，那就必須從全局視角重新定義問題。

LyapLock 沒有繼續在單步損失函數上縫縫補補，而是直接把連續編輯建模成了一個帶長期約束的隨機規劃問題（圖2）。

圖2：傳統的單步雙目標優化與 LyapLock 約束長期優化的核心區別公式對比圖

用「剝洋蔥」的方式來說，直覺（Intuition）是這樣的：

• 引入虛擬隊列（Virtual Queues）充當「蓄水池」：設計了一個虛擬隊列 ，用來實時監控累積的記憶遺忘情況 。如果編輯某條知識導致原有知識破壞過大，超出了設定的紅線閾值 ，這個隊列的水位就會上漲 。

• 動態博弈的李雅普諾夫優化（Lyapunov Optimization）：這是控制論中的經典方法 。當隊列水位 升高時，系統會自動拉響警報，增加損失函數中「知識保留（Preservation Loss）」的懲罰權重 。此時，模型的首要任務變成了「保護老知識」。

• 張弛有度：而當水位下降（即近期編輯對老知識破壞不大，處于安全區）時，權重減小，系統又會把計算資源傾斜給「學習新知識（Editing Loss）」 。

通過這種方式，研究人員在理論上證明了：只要虛擬隊列保持強穩定，模型在無限次連續編輯中的平均保留損失就一定會被死死鎖在紅線之內 。

詳細結果

用真實的實驗數據來說話，在LLaMA-3(8B)、GPT-J(6B) 等多個模型上進行了極限測試 。

破萬次編輯，通用能力不崩盤

在連續編輯10,000次后，所有的基線方法（ROME, MEMIT, PRUNE, RECT, AlphaEdit）在 GLUE 六大下游任務上全軍覆沒，性能暴跌至0%。而LyapLock穩如泰山，甚至當把壓力測試拉高到20,000次編輯時，模型依然保持著極佳的通用語言能力。同時，在其他基線方法的Preservation Loss類似指數上升的同時，LyapLock方法將其限制在了一定的閾值內（圖3，圖4）。

圖3：GLUE下游任務抗跌對比

圖4：Preservation Loss穩定在閾值內的對比圖

知識更新性能霸榜

不僅老知識護得好，新知識也學得精。相比于第二強的基線AlphaEdit，LyapLock的平均編輯效力（Efficacy）硬生生拔高了11.89%。在LLaMA3-Counterfact場景下，泛化能力更是拉開了19.71%的巨大差距 。

圖5：主實驗結果

即插即用的外掛神器

LyapLock的理論框架不僅能單打獨斗，還能向下兼容！把它和MEMIT、PRUNE等現有方法結合，能夠直接讓它們的編輯性能提升9.76%，下游任務表現更是暴漲41.11%。

圖6：結合 LyapLock 后基線方法性能提升的雷達圖

總結與展望

LyapLock第一次利用Lyapunov優化為連續編輯套上了一層帶理論保證的「鎖」。它證明了，只要控制好長期損失的累積，LLM完全有潛力像人類一樣，在漫長的生命周期中持續學習和修正認知，而不至于「學了新知識，忘了自己是誰」 。

當然，目前的工作也還有進步空間。

比如評測主要集中在自然語言理解（NLU）任務上，未來在代碼生成、復雜數學推理等領域，這種連續編輯的鎖還能不能鎖得這么穩？更大的十萬、百萬級編輯量極限又在哪里？這些都非常值得社區繼續深挖 。

參考資料：

https://arxiv.org/pdf/2505.15702