破解可塑性瓶頸！清華團(tuán)隊新作刷榜持續(xù)學(xué)習(xí)：可遷移任務(wù)關(guān)系指導(dǎo)訓(xùn)練

新智元報道

編輯：LRST

【新智元導(dǎo)讀】清華團(tuán)隊用「任務(wù)關(guān)系」破解AI學(xué)完就忘的難題，提出的H-embedding guided hypernet先算新舊任務(wù)的親疏關(guān)系，再讓超網(wǎng)絡(luò)按關(guān)系生成專屬模型參數(shù)，低維小向量即插即用，在ImageNet-R等測試把遺忘率再降一成。

持續(xù)學(xué)習(xí)（Continual Learning，CL）是人工智能系統(tǒng)邁向長期智能的重要能力。其核心目標(biāo)是讓模型在任務(wù)序列中不斷吸收新知識，同時維持甚至提升舊任務(wù)的表現(xiàn)。

然而，在主流深度學(xué)習(xí)框架下，模型在學(xué)習(xí)新任務(wù)時往往會顯著遺忘舊知識，即「災(zāi)難性遺忘」（Catastrophic Forgetting），這是限制持續(xù)學(xué)習(xí)走向大規(guī)模實(shí)用的關(guān)鍵瓶頸。

現(xiàn)有CL方法大致可分為三類：基于數(shù)據(jù)回放的重放方法、基于參數(shù)約束的正則化方法，以及基于模型結(jié)構(gòu)的動態(tài)擴(kuò)展方法。盡管它們都在不同程度上緩解了遺忘，但一個根本問題始終被忽視：

大多數(shù)CL方法仍從「模型中心」視角出發(fā)，而缺乏對任務(wù)之間內(nèi)在關(guān)系的建模和利用。

然而，任務(wù)關(guān)系直接決定了知識遷移的方向與效率：哪些任務(wù)之間協(xié)同度高，哪些任務(wù)之間沖突大，哪些舊任務(wù)對新任務(wù)有幫助，哪些新任務(wù)可能破壞已有能力——這些信息對于穩(wěn)健的持續(xù)學(xué)習(xí)至關(guān)重要。

為解決這一長期存在的空白，清華大學(xué)研究提出了一種「任務(wù)關(guān)系中心」（task-relation-centric）的新型CL方案：H-embedding引導(dǎo)的超網(wǎng)絡(luò)（Hypernetwork）持續(xù)學(xué)習(xí)框架。

論文鏈接：https://arxiv.org/pdf/2502.11609

其核心思想是：在每次學(xué)習(xí)新任務(wù)前，通過信息論度量構(gòu)建可遷移性感知的任務(wù)嵌入H-embedding，并利用超網(wǎng)絡(luò)根據(jù)嵌生成任務(wù)專屬參數(shù)，從而顯式地在CL過程中編碼任務(wù)關(guān)系。

方法動機(jī)

任務(wù)關(guān)系應(yīng)成為CL的顯式指導(dǎo)信息

在典型CL設(shè)置中，模型只能在訓(xùn)練新任務(wù)之后，基于參數(shù)變化做「事后分析」，來判斷任務(wù)之間的干擾和遷移。

這種模式天然存在三大問題：

1. 缺乏任務(wù)級先驗，模型無法在訓(xùn)練開始前規(guī)劃遷移路徑

模型既不知道哪些舊任務(wù)對當(dāng)前任務(wù)有幫助，也不知道哪些知識需要重點(diǎn)保護(hù)。

2. 正向和后向遷移難以被同時優(yōu)化

傳統(tǒng)方法常只能顧其一：強(qiáng)正則化減少遺忘，但削弱新任務(wù)學(xué)習(xí)能力；強(qiáng)學(xué)習(xí)新任務(wù)提升前向遷移，卻導(dǎo)致顯著遺忘。

3. 隨著任務(wù)數(shù)量增長，干擾累積，使方法難以擴(kuò)展

任務(wù)序列越長，模型「盲學(xué)」的代價越高。

因此，一個自然的問題是：

「如果持續(xù)學(xué)習(xí)能夠從任務(wù)關(guān)系出發(fā)構(gòu)建學(xué)習(xí)路徑，而非單純從模型參數(shù)出發(fā)，是否能同時提升前向與后向遷移能力？」

在此背景下，研究團(tuán)隊引入了「任務(wù)關(guān)系中心」的設(shè)計思路，將任務(wù)可遷移性轉(zhuǎn)化為可學(xué)習(xí)的先驗信息，并直接驅(qū)動參數(shù)生成與知識保護(hù)策略。

核心貢獻(xiàn)

提出H-embedding：基于H-score的任務(wù)可遷移性嵌入

可遷移性和任務(wù)嵌入的圖解關(guān)系

團(tuán)隊采用信息論指標(biāo)H-score來表征從任一舊任務(wù)到當(dāng)前任務(wù)的遷移價值。H-score 能反映源任務(wù)特征對目標(biāo)任務(wù)的有效性，是一種在實(shí)際場景中可高效計算的可遷移性度量。

隨后，通過層次分析法（AHP）對這些遷移性數(shù)值進(jìn)行歸一化，使其與嵌入空間中的距離度量保持一致，再通過距離一致性優(yōu)化得到任務(wù)的低維H-embedding。

這種表示具備三個重要特性：

• 先驗可用：任務(wù)訓(xùn)練開始前即可獲得

• 低維緊湊：便于長期存儲與快速調(diào)用

• 與遷移性對齊：嵌入之間的距離反映任務(wù)間關(guān)系

這使得持續(xù)學(xué)習(xí)擁有了「可顯式管理的任務(wù)關(guān)系結(jié)構(gòu)」。

提出由H-embedding驅(qū)動的超網(wǎng)絡(luò)參數(shù)生成框架

該框架使用超網(wǎng)絡(luò)（Hypernetwork）根據(jù)任務(wù)嵌入，為每個任務(wù)生成其專屬參數(shù)。更重要的是，模型內(nèi)部引入了一個輕量級解碼器，通過重構(gòu) H-embedding 的方式迫使超網(wǎng)絡(luò)顯式地吸收任務(wù)關(guān)系。

訓(xùn)練過程包含三類關(guān)鍵損失：

• 任務(wù)損失：學(xué)習(xí)當(dāng)前任務(wù)

• 持續(xù)學(xué)習(xí)正則項：減輕對舊知識的覆蓋

• 嵌入引導(dǎo)損失：確保任務(wù)關(guān)系參與參數(shù)生成

這一設(shè)計使得模型能夠：針對任務(wù)差異自動調(diào)節(jié)生成參數(shù)、在任務(wù)相關(guān)時進(jìn)行正向遷移、在任務(wù)沖突時強(qiáng)化知識保護(hù)，從而在結(jié)構(gòu)層面解決了 CL 的核心矛盾。

高可用性：可端到端訓(xùn)練，兼容多種參數(shù)高效微調(diào)技術(shù)

該框架具有極強(qiáng)的工程可落地性：

• 每個任務(wù)僅需保存一個embedding（極低存儲成本）

• 支持CNN、ViT等主流架構(gòu)

• 可與LoRA等參數(shù)高效微調(diào)技術(shù)結(jié)合并部署在多種預(yù)訓(xùn)練模型上

實(shí)驗結(jié)果

在多項CL基準(zhǔn)上全面領(lǐng)先

研究團(tuán)隊在多個主流持續(xù)學(xué)習(xí)基準(zhǔn)上進(jìn)行了廣泛評估，包括CIFAR-100、ImageNet-R和DomainNet，涵蓋了不同模型架構(gòu)（如ResNet、Vision Transformer）和學(xué)習(xí)設(shè)置（如全模型訓(xùn)練、參數(shù)高效微調(diào)）。主要結(jié)果如下：

結(jié)果顯示：

1. FAA全面領(lǐng)先現(xiàn)有方法，在所有數(shù)據(jù)集上均取得更優(yōu)的最終性能。

2. 強(qiáng)正向與后向遷移能力同時出現(xiàn)。DAA與FAA差值極小，表明新任務(wù)學(xué)習(xí)對舊任務(wù)幾乎無干擾，同時能從舊任務(wù)中有效吸收知識。

3. 算法對任務(wù)數(shù)量增長具有更高魯棒性。在5→10→20個任務(wù)的擴(kuò)展實(shí)驗中，該方法的性能增益持續(xù)放大，顯示出很好的擴(kuò)展性。并且在靠后的任務(wù)中，引入embedding guidance帶來了顯著的收斂加速。

4. 消融實(shí)驗驗證組件有效性。去除H-embedding引導(dǎo)或AHP歸一化均會出現(xiàn)明顯性能下降。

結(jié)論與展望

研究人員提出了一種「任務(wù)關(guān)系中心」的持續(xù)學(xué)習(xí)范式，通過在訓(xùn)練前引入信息論驅(qū)動的任務(wù)關(guān)系嵌入 H-embedding，使得模型能夠：

• 預(yù)測遷移性而非被動適應(yīng)

• 在學(xué)習(xí)過程中有意識地管理任務(wù)間的知識交互

• 大幅減少遺忘、提升遷移效率

H-embedding引導(dǎo)的超網(wǎng)絡(luò)框架在多個基準(zhǔn)上取得領(lǐng)先表現(xiàn)，展示了任務(wù)關(guān)系建模在持續(xù)學(xué)習(xí)中的關(guān)鍵作用。

未來，任務(wù)結(jié)構(gòu)感知的方法有望拓展至跨模態(tài)增量學(xué)習(xí)、大模型的長期任務(wù)適配、任務(wù)自組織（task discovery）與自動化學(xué)習(xí)順序規(guī)劃等更復(fù)雜場景。為構(gòu)建更具擴(kuò)展性、可生長的通用 AI 體系提供新的方向。

參考資料：

https://arxiv.org/pdf/2502.11609

https://yangli-feasibility.com/home/group.html

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！