潛變量模型的自適應(yīng)小樣本類增量學(xué)習(xí)

Adaptive Few-Shot Class-Incremental Learningvia Latent Variable Models

通過潛在變量模型實現(xiàn)自適應(yīng)少樣本類別增量學(xué)習(xí)

https://www.jair.org/index.php/jair/article/view/17006/27160

摘要：

類增量學(xué)習(xí)方法旨在有效學(xué)習(xí)持續(xù)到來的新類別。當(dāng)每類訓(xùn)練數(shù)據(jù)稀缺時（常見于諸多開放世界機(jī)器學(xué)習(xí)應(yīng)用），問題難度進(jìn)一步加劇。該范式被稱為小樣本類增量學(xué)習(xí)（FSCIL），要求學(xué)習(xí)器既能按序增量學(xué)習(xí)新類別，又能保留關(guān)于舊類別（即已學(xué)類別）的既有知識。本文提出一種小樣本類增量學(xué)習(xí)器，其基于潛在變量模型，自適應(yīng)調(diào)整新小樣本類別的表征以及相關(guān)舊知識。所提出的潛在變量模型是一種變分自編碼器（VAE）形式，專為應(yīng)對FSCIL核心挑戰(zhàn)——災(zāi)難性遺忘與潛在偏差——而設(shè)計。在新類別小樣本學(xué)習(xí)階段，該模型借助其攤銷（amortization）特性與高保真能力，不僅調(diào)整當(dāng)前新類別，還同步調(diào)整相關(guān)歷史類別，從而持續(xù)緩解災(zāi)難性遺忘、偏差與過擬合的影響。我們還推導(dǎo)了對未來類別的誤差泛化上界。在多個主流FSCIL基準(zhǔn)數(shù)據(jù)集以及一個由真實醫(yī)學(xué)影像構(gòu)成的醫(yī)學(xué)基準(zhǔn)（MedMNIST）上的實驗表明，所提模型在平均總體/最終分類準(zhǔn)確率及緩解災(zāi)難性遺忘方面均取得更優(yōu)性能。

1. 引言增量學(xué)習(xí)（IL），亦稱持續(xù)學(xué)習(xí)或終身學(xué)習(xí)，指一種機(jī)器學(xué)習(xí)范式：模型需積累并可能復(fù)用以往任務(wù)所獲知識（Ring, 1995；Srivastava 等, 2013；Schwarz 等, 2018；Hu 等, 2019；Adel 等, 2020；Wang 等, 2023a；Zhu 等, 2023a）。這對深度模型尤其具有挑戰(zhàn)性——因其理想設(shè)定依賴于訓(xùn)練前即可獲取大規(guī)模數(shù)據(jù)。相較于新數(shù)據(jù)到來時需從頭重訓(xùn)模型，IL 在時間與資源（如內(nèi)存）管理方面更具優(yōu)勢。

IL 的一個標(biāo)準(zhǔn)假設(shè)是：無論訓(xùn)練還是推理（測試）階段，學(xué)習(xí)器均可獲知每個類別所屬任務(wù)的身份（ID）。但在多數(shù)現(xiàn)實場景中，推理階段往往無法獲取任務(wù) ID，該假設(shè)因而不切實際。為此，類增量學(xué)習(xí)（CIL）范式應(yīng)運(yùn)而生：其設(shè)定推理階段無任務(wù)信息可用，迫使學(xué)習(xí)器必須區(qū)分所有已遇類別，無論其原屬哪個任務(wù)。CIL 范式刻畫了開放環(huán)境中典型場景，故解決其挑戰(zhàn)對在開放世界可靠部署機(jī)器學(xué)習(xí)系統(tǒng)至關(guān)重要（Zhou, 2022）。

當(dāng)每類僅有極少量數(shù)據(jù)可用時，上述問題進(jìn)一步加劇。該設(shè)定在文獻(xiàn)中被稱為小樣本類增量學(xué)習(xí)（FSCIL）（Rebuffi 等, 2017；Gidaris & Komodakis, 2018；Tao 等, 2020；Achituve 等, 2021；Ahmad 等, 2022；Peng 等, 2022；Song 等, 2023；Wang 等, 2023b；Zhou 等, 2023a；Zhao 等, 2024）。例如，考慮用于視頻監(jiān)控的行人屬性識別模型，需識別年齡、性別、著裝等外觀特征（Xiang 等, 2019；Wang 等, 2023b）：首任務(wù)要求區(qū)分馬甲（識別穿馬甲的行人）與T恤；因二者差異顯著，首任務(wù)下識別馬甲可能較易。隨后模型遇到少量新行人，每人分別穿著夾克或大衣——構(gòu)成兩個新類別。此時任務(wù)變難：推理階段需區(qū)分馬甲、夾克與大衣三者，卻從未有機(jī)會在三類數(shù)據(jù)上同步訓(xùn)練。

由于隱私與安全約束，F(xiàn)SCIL 模型通常嚴(yán)禁訪問歷史類別數(shù)據(jù)，故其必須能在不遺忘舊類的前提下學(xué)習(xí)新類。因此需在“適應(yīng)新類”與“維持已獲知識的穩(wěn)定性”間取得平衡。過度適應(yīng)新類可能導(dǎo)致舊類知識災(zāi)難性遺忘（McCloskey & Cohen, 1989；Ratcliff, 1990；Robins, 1993, 1995；French, 1999；Pape 等, 2011；Srivastava 等, 2013；Achille 等, 2018；Diaz-Rodriguez 等, 2018；Kemker 等, 2018；Zeno 等, 2018；Parisi 等, 2019；Pfulb & Gepperth, 2019；Ebrahimi 等, 2020；Gupta 等, 2020；Banayeeanzade 等, 2021；Ke 等, 2021；Ostapenko 等, 2021；Wang 等, 2021；Kalb & Beyerer, 2022；Kang 等, 2022a；Karakida & Akaho, 2022；Lin 等, 2022；Miao 等, 2022；Yasar & Iqbal, 2023）——即：模型雖已掌握某類識別知識，但在遭遇新類后，該知識逐漸退化。

上述平衡常被稱為穩(wěn)定性–可塑性困境：穩(wěn)定性指維持舊知識能力，可塑性指適應(yīng)新類能力。此外，因每類僅含少量樣本，F(xiàn)SCIL 還直面偏差與過擬合等額外挑戰(zhàn)。

本文提出一種小樣本類增量學(xué)習(xí)器，旨在通過構(gòu)建一個量身定制的潛在變量模型以緩解上述風(fēng)險。先前工作（如 Wang 等, 2023b；Zhao 等, 2024）已表明：僅調(diào)整小樣本階段到來的新類別表征，不足以緩解因數(shù)據(jù)稀缺導(dǎo)致的災(zāi)難性遺忘與偏差。因此，我們設(shè)計的潛在變量模型不僅允許調(diào)整新小樣本類別，還可同步調(diào)整最可能受新類沖擊的相關(guān)歷史類別。該策略旨在建立一種模型：每當(dāng)新類到來，通過調(diào)控所有受影響類別，持續(xù)平衡穩(wěn)定性–可塑性權(quán)衡，并應(yīng)對FSCIL固有的偏差與過擬合風(fēng)險。

我們推導(dǎo)的未來類別誤差泛化上界，佐證了“同步調(diào)整新小樣本類與相關(guān)舊類”這一主張的價值。此外，我們在多個主流CIL基準(zhǔn)及醫(yī)學(xué)基準(zhǔn)MedMNIST（第4節(jié)）上開展實驗。結(jié)果表明，所提FSCIL模型在總體/最終分類性能及緩解災(zāi)難性遺忘方面均達(dá)到當(dāng)前最優(yōu)水平（state-of-the-art）。第5節(jié)詳述相關(guān)工作。

主要貢獻(xiàn)總結(jié)如下：

1. 提出一種基于自適應(yīng)潛在變量建模的FSCIL框架（第2節(jié)）：不僅處理小樣本階段遇到的新類別，亦相應(yīng)調(diào)整相關(guān)舊類所獲知識；
2. 該框架在緩解偏差與災(zāi)難性遺忘、以及適應(yīng)新類別三者間實現(xiàn)均衡處理；
3. 推導(dǎo)了未來類別的誤差泛化上界（第3節(jié)）；
4. 在主流CIL基準(zhǔn)及真實醫(yī)學(xué)數(shù)據(jù)集MedMNIST上取得當(dāng)前最優(yōu)結(jié)果，評估指標(biāo)涵蓋分類準(zhǔn)確率（平均總體、最終、各階段后）及緩解災(zāi)難性遺忘程度（第4節(jié)）。

1. 我們的CIAM方法

鑒于小樣本類增量學(xué)習(xí)器需應(yīng)對的若干挑戰(zhàn)，所提框架首先應(yīng)利用基礎(chǔ)階段（base session）中豐富的數(shù)據(jù)，學(xué)習(xí)基礎(chǔ)類別的表征。此后，關(guān)鍵在于將已學(xué)表征自適應(yīng)調(diào)整至小樣本類別，同時緩解災(zāi)難性遺忘、偏差與過擬合等潛在風(fēng)險。我們提出一種模型，稱為“基于潛在變量模型的小樣本類增量學(xué)習(xí)自適應(yīng)”（few-shot Class-Incremental learning Adaptation via latent variable Models, CIAM），以應(yīng)對小樣本類增量學(xué)習(xí)中的此類挑戰(zhàn)。

2.1 設(shè)定

2.2 基礎(chǔ)會話

2.3 基于潛在變量建模的小樣本自適應(yīng)

本節(jié)描述所提出的小樣本自適應(yīng)流程。如第2.2節(jié)所述，基礎(chǔ)會話（數(shù)據(jù)豐富）之后，若繼續(xù)用稀缺數(shù)據(jù)訓(xùn)練基礎(chǔ)網(wǎng)絡(luò)以學(xué)習(xí)小樣本類別，將是有害的，并可能導(dǎo)致遺忘已建立的基礎(chǔ)類別知識。另一方面，完全不從小樣本數(shù)據(jù)中進(jìn)行任何學(xué)習(xí)，則意味著浪費(fèi)了潛在的知識并存在欠擬合風(fēng)險。為此，我們提出通過一個潛在變量模型，在小樣本會話期間自適應(yīng)調(diào)整已學(xué)表征——該模型不僅能適配小樣本類別，還能同時適配相關(guān)的歷史類別，從而實現(xiàn)貫穿始終的一致性更新（而非僅更新新小樣本類別）。通過采用所提出的全面自適應(yīng)策略，我們的目標(biāo)是捕捉所有潛在的災(zāi)難性遺忘和/或偏差來源。

回顧可知，網(wǎng)絡(luò)已學(xué)習(xí)到一個函數(shù)表征 f ( ? ; ω ) ，它代表了更好的預(yù)測潛力（即經(jīng)過優(yōu)化，使得相應(yīng)類別能被準(zhǔn)確預(yù)測）。該表征是在基礎(chǔ)類別上專門學(xué)習(xí)得到的。我們需要：i) 將此表征適配至小樣本類別；ii) 確保此適配與先前遇到的類別中的相關(guān)類別保持一致。其核心思想是建立一個潛在變量模型，該模型能夠高效地學(xué)習(xí)如何適配當(dāng)前小樣本類別的表征以及相關(guān)歷史類別（其數(shù)據(jù)已不可用），同時避免在基礎(chǔ)會話后重新訓(xùn)練基礎(chǔ)網(wǎng)絡(luò)。

若干FSCIL算法在基礎(chǔ)會話后完全凍結(jié)表征學(xué)習(xí)與特征提取（Zhang 等, 2021；Akyurek 等, 2022；Hersche 等, 2022；Wang 等, 2023b）。其他先前關(guān)于FSCIL的工作則基于構(gòu)建小樣本類別的原型（Mazumder 等, 2021；Shi 等, 2021；Zhou 等, 2022；Ji 等, 2023），或最多僅校準(zhǔn)此類原型（Zhu 等, 2021；Deng 等, 2022；Wang 等, 2023b；Zhang & Gu, 2023；Zhou 等, 2023b；Zhu 等, 2023b；Zhao 等, 2024）。然而，若不在小樣本會話中應(yīng)用任何學(xué)習(xí)或自適應(yīng)，直接獲得可靠的原型可能頗具挑戰(zhàn)性。我們推測，即使這有助于擬合新的小樣本類別，仍可能導(dǎo)致對先前已學(xué)類別的負(fù)面影響。為此，需要在基礎(chǔ)會話期間學(xué)習(xí)的特征表征與最終的小樣本分類之間增加一個額外階段（Zhao 等, 2024）。我們的目標(biāo)是利用手頭的小樣本數(shù)據(jù)，來適配所有可能受影響的類別表征。

對于每個基礎(chǔ)類別，基礎(chǔ)會話期間學(xué)習(xí)到的特征表征函數(shù) f ( ? ; ω ) 提供了一個從相應(yīng)輸入 x 到 f ( x ; ω ) 的映射。該表征在基礎(chǔ)會話后并未再接受任何訓(xùn)練（原因如上所述）。因此，直接以該表征函數(shù)表達(dá)小樣本類別（即使后續(xù)進(jìn)行校準(zhǔn)）并不適用。相反，我們的目標(biāo)是高效地將小樣本類別與被認(rèn)為最相關(guān)的歷史類別一同適配。將基礎(chǔ)會話中的類別數(shù)量記為 B 。如前所述，基礎(chǔ)類別的數(shù)量 B 遠(yuǎn)大于任意單個小樣本會話中的類別數(shù)。在小樣本會話期間，必須選擇那些最有可能受新到來類別影響的歷史類別，因為否則在遇到新小樣本類別時更新每個歷史類別的表征將變得極其昂貴。

所提出的FSCIL潛在變量模型的主要目標(biāo)是：適配當(dāng)前小樣本類別的已學(xué)表征以及最相關(guān)的歷史類別，以此緩解災(zāi)難性遺忘與偏差的潛在風(fēng)險。該FSCIL潛在變量模型由一個雙分支變分自編碼器（VAE, Kingma & Welling, 2014; Kingma 等, 2014）構(gòu)成。相較于僅含單一分支（連接數(shù)據(jù)空間與潛在空間）的標(biāo)準(zhǔn)VAE，我們引入的額外分支專注于最終表征的預(yù)測準(zhǔn)確性——該分支將潛在空間與類別標(biāo)簽相連接。因此，兩個VAE分支的同時優(yōu)化既能調(diào)整所有相關(guān)類別的表征，又能同步實現(xiàn)整體高性能。

2.4 潛在變量模型上的推理

我們描述了三種建模場景下的變分下界：首先是基礎(chǔ)會話的訓(xùn)練階段，其次是小樣本會話的訓(xùn)練階段，最后是推理（測試）階段。

2.4.1 基礎(chǔ)會話

在基礎(chǔ)會話的訓(xùn)練過程中，我們VAE的輸入包括所有基礎(chǔ)類別的基礎(chǔ)表征 f f 以及其訓(xùn)練數(shù)據(jù)點(diǎn)的標(biāo)簽 y y，二者在此時均是可觀測的。根據(jù)所提出的模型，單個數(shù)據(jù)點(diǎn)的邊緣似然表達(dá)式如下：

2.4.2 小樣本會話

2.4.3 測試階段

在測試階段，標(biāo)簽 y 是未知的。因此，在式(8)-(11)中定義的ELBO不適用于測試階段。為此，我們在此處開發(fā)了測試階段的ELBO。每個測試數(shù)據(jù)點(diǎn)的輸入 x 首先被輸入到基礎(chǔ)表征函數(shù)（此階段該函數(shù)已固定）以獲得相應(yīng)的基礎(chǔ)表征 f 。隨后，該基礎(chǔ)表征 f 作為唯一觀測到的輸入被送入VAE。單個測試數(shù)據(jù)點(diǎn)的邊緣似然可表達(dá)如下：

1. 理論分析我們闡明了在類增量學(xué)習(xí)（CIL）設(shè)定中，當(dāng)前類別與先前已遇類別之間的理論關(guān)系。總體目標(biāo)是為“相關(guān)（即最相似的）歷史類別對當(dāng)前類別分類的影響”提供理論驗證。

3.1泛化上限

需注意，式（17）界中的第一項完全依賴于先前已遇類別的真值函數(shù)（即作為輸入提供給學(xué)習(xí)器的部分）。換言之，式（17）的第一項完全不依賴于任何學(xué)習(xí)假設(shè) h ，也不依賴于類增量學(xué)習(xí)器在其優(yōu)化過程中可控制的任何自由度。相反，界的第二項（即式（18）中的最小項）由 r 個子句組成，每個子句對應(yīng)一個歷史類別。如式（27）所推導(dǎo)，式（18）中的每個子句代表：若對應(yīng)類別是類增量學(xué)習(xí)器先前所遇的唯一類別時，該類任務(wù)誤差的一個上界。因此，鑒于類增量學(xué)習(xí)器此前已遇到 r 個類別，依據(jù)定理1，識別出與當(dāng)前類別最相似的歷史類別，即可最小化式（18），從而收緊（即最小化）當(dāng)前類別誤差的上界。因此，定理1揭示了當(dāng)前類別誤差與最相似（即相關(guān)）歷史類別誤差之間的依賴關(guān)系。

3.2 證明

在深入定理1的證明之前，我們先提供若干后續(xù)證明中需要用到的引理及其證明。

1. 實驗

我們通過實驗評估所提出的CIAM框架的性能。本節(jié)首先解釋我們的實驗設(shè)置，隨后進(jìn)行評估，包括在常用FSCIL基準(zhǔn)上的實驗、消融分析以及在真實世界醫(yī)學(xué)數(shù)據(jù)上的實驗。

4.1 實驗設(shè)置

我們的主要目標(biāo)是評估以下方面：i) CIAM的性能，通過三個重要基準(zhǔn)上的最終分類準(zhǔn)確率及至關(guān)重要的平均分類準(zhǔn)確率來衡量——這三個基準(zhǔn)代表了FSCIL中最常用的基準(zhǔn)；ii) 所提CIAM緩解災(zāi)難性遺忘的能力及其可降低的程度，通過常用的性能下降率指標(biāo)衡量；iii) 一項消融研究，用于衡量CIAM各組件的影響；iv) 將所提CIAM框架應(yīng)用于一個現(xiàn)實世界的醫(yī)學(xué)基準(zhǔn)（即MedMNIST數(shù)據(jù)集）。以平均分類準(zhǔn)確率、最終分類準(zhǔn)確率和緩解災(zāi)難性遺忘為指標(biāo)所獲得的當(dāng)前最優(yōu)結(jié)果，證明了所提CIAM框架的有效性。

在所有實驗中，我們與每個競爭算法表現(xiàn)最佳的變體進(jìn)行比較。所有報告的結(jié)果均為10次運(yùn)行的平均值。使用配對t檢驗（p=0.05）識別統(tǒng)計顯著性（以粗體突出顯示）。優(yōu)化器采用帶動量的隨機(jī)梯度下降（SGD），在miniImageNet和CIFAR100上初始學(xué)習(xí)率為0.01，在CUB200數(shù)據(jù)集上初始學(xué)習(xí)率為0.001。核寬度參數(shù)σ通過交叉驗證調(diào)優(yōu)。歸一化流步驟數(shù)s設(shè)為2，這在利用歸一化流高保真能力與計算穩(wěn)健性之間取得了良好平衡。計算環(huán)境由一塊NVIDIA A100 Tensor Core GPU和兩塊AMD Rome CPU組成，基于NVIDIA Mellanox ConnectX-6互連技術(shù)。

4.2 常用小樣本類增量學(xué)習(xí)基準(zhǔn)

我們在此通過在以下FSCIL基準(zhǔn)上進(jìn)行實驗來評估CIAM：miniImageNet (Russakovsky 等, 2015)、CIFAR100 (Krizhevsky & Hinton, 2009) 和 CUB200 (Wah 等, 2011)。以下是這三個數(shù)據(jù)集的簡要描述：

miniImageNet：它是ImageNet (Russakovsky 等, 2015) 的一個100類子集，常用于許多小樣本學(xué)習(xí)設(shè)置中（Vinyals 等, 2016; Finn 等, 2017），不僅限于FSCIL。

每個類別包含500張訓(xùn)練圖像和100張測試圖像。圖像格式為RGB，尺寸為84×84。基礎(chǔ)會話（t=1）包含60個類別。基礎(chǔ)會話之后，有8個小樣本會話，每個會話包含5個類別。根據(jù)FSCIL文獻(xiàn)（例如Tao等, 2020; Yang等, 2023; Zhao等, 2024），每個小樣本會話（2 ≤ t ≤ 9）均為5類5樣本會話，這意味著每個5個類別中各有5個可用的訓(xùn)練點(diǎn)。

CIFAR100：這是另一個在FSCIL中頗受歡迎的數(shù)據(jù)集（Rebuffi等, 2017; Castro等, 2018）。它總共包含60,000張圖像，分為100個類別。每個類別包含500張訓(xùn)練圖像和100張測試圖像。每張圖像尺寸為32×32。與miniImageNet類似，我們亦采用FSCIL文獻(xiàn)中CIFAR100的常見設(shè)置：從一個包含60個類別的基礎(chǔ)會話開始，隨后是8個5類5樣本的小樣本會話。因此，總共有9個CIFAR100學(xué)習(xí)會話（1個基礎(chǔ)會話 + 8個小樣本會話）。

CUB200：該數(shù)據(jù)集的原始設(shè)計旨在解決增量學(xué)習(xí)場景下的細(xì)粒度圖像分類問題（Chaudhry等, 2019; Parisi等, 2019; Tao等, 2020）。它包含6,000張訓(xùn)練圖像及6,000張測試圖像，圖像尺寸為224×224。數(shù)據(jù)集包含200個類別，每個類別描繪一種特定的鳥類；CUB指Caltech-UCSD Birds。我們采用FSCIL領(lǐng)域常用的CUB200劃分格式：將200個類別劃分為100個類別用于基礎(chǔ)會話，隨后是10個增量式10類5樣本會話。

遵循FSCIL領(lǐng)域的若干先前工作（例如Tao等, 2020; Zhao等, 2024），我們采用ResNet-18 (He等, 2016) 作為骨干網(wǎng)絡(luò)（基礎(chǔ)網(wǎng)絡(luò)）。對于CUB200，ResNet-18骨干網(wǎng)絡(luò)使用在ImageNet上預(yù)訓(xùn)練的參數(shù)進(jìn)行初始化 (Deng等, 2009)。此外，遵循之前的FSCIL工作3 (Yang等, 2023)，我們在所有實驗中基礎(chǔ)會話階段采用512的微批次大小，在每個增量小樣本會話階段采用64的微批次大小。對于miniImageNet數(shù)據(jù)集，基礎(chǔ)會話訓(xùn)練500輪，每個增量小樣本會話訓(xùn)練150輪。對于CIFAR100，基礎(chǔ)會話訓(xùn)練200輪，每個小樣本會話訓(xùn)練100輪。對于CUB200數(shù)據(jù)集，基礎(chǔ)會話訓(xùn)練80輪，每個增量小樣本會話訓(xùn)練60輪。

評估指標(biāo)：對FSCIL而言，最具影響力的評估指標(biāo)是平均總體分類準(zhǔn)確率，它反映了到目前為止所遇所有類別（包括當(dāng)前及所有先前會話）的平均測試準(zhǔn)確率。最終分類準(zhǔn)確率——即在經(jīng)歷最終學(xué)習(xí)會話的所有類別后獲得的測試準(zhǔn)確率——是另一個重要的FSCIL指標(biāo)，我們也會在下文報告。我們還基于FSCIL最廣泛使用的指標(biāo)“性能下降率”（PD, Zhang等, 2021）來估算災(zāi)難性遺忘。PD指標(biāo)定義為：PD = 基礎(chǔ)會話后的平均總體準(zhǔn)確率 - 最終小樣本會話后的平均總體準(zhǔn)確率。

我們評估了CIAM相對于多個當(dāng)前最先進(jìn)的FSCIL算法的表現(xiàn)：CEC (Zhang等, 2021), FACT (Zhou等, 2022), C-FSCIL (Hersche等, 2022), TEEN (Wang等, 2023b), Bidist (Zhao等, 2023), SAVC (Song等, 2023), NC-FSCIL (Yang等, 2023), TOPIC (Tao等, 2020), FCIL (Gu等, 2023), BM-FSCIL (Zhao等, 2024), LIMIT (Zhou等, 2023b), MetaFSCIL (Chi等, 2022), iCaRL (Rebuffi等, 2017), ALICE (Peng等, 2022) 和 DF Replay (Liu等, 2022)。

miniImageNet 數(shù)據(jù)集上所有 FSCIL 指標(biāo)的結(jié)果詳見表 1。此外，圖 2 還匯總展示了性能最優(yōu)的若干算法的整體表現(xiàn)。所提出的CIAM在平均總體分類準(zhǔn)確率與最終分類準(zhǔn)確率（即 miniImageNet 第 9 個會話——即最終會話——后的分類準(zhǔn)確率）上均顯著優(yōu)于現(xiàn)有方法。此外，在緩解災(zāi)難性遺忘方面，CIAM 的效率也高于所有先前的最先進(jìn) FSCIL 算法，這由其顯著更低的性能下降率（PD）得以證實。顯然，更高的 PD 值意味著更強(qiáng)的遺忘，這是不希望出現(xiàn)的；而基于準(zhǔn)確率的指標(biāo)則相反——數(shù)值越高，表明性能越佳。相較于此前最優(yōu)方法，CIAM 在平均總體分類準(zhǔn)確率、最終分類準(zhǔn)確率和 PD 率上分別提升了3.77%、5.38%和4.42%（即 PD 降低 4.42%，遺忘更少）。

在 CIFAR100 上，CIAM 同樣在（最終與平均總體）準(zhǔn)確率類指標(biāo)及 PD 率方面顯著超越先前最先進(jìn)方法，結(jié)果如表 2 與圖 3 所示：其平均總體分類準(zhǔn)確率提升5.02%，最終分類準(zhǔn)確率提升6.51%；PD 率降低5.96%（即遺忘率更低）。這一顯著提升表明 CIAM 能有效應(yīng)對穩(wěn)定性–可塑性困境。這得益于所提 CIAM 潛在變量模型中采用的豐富密度估計器，以及其與概率建模的融合方式，最終形成高效自適應(yīng)策略，并體現(xiàn)在預(yù)測準(zhǔn)確率與性能保持能力上。

在 FSCIL 中常用的 CUB200 數(shù)據(jù)集劃分下，總共有 11 個會話（即比前述兩個基準(zhǔn)多出兩個小樣本會話）。相應(yīng)地，CIAM 在 CUB200 上的平均總體分類準(zhǔn)確率提升更為顯著：相較次優(yōu) FSCIL 算法高出6.61%；在所有學(xué)習(xí)會話中分類準(zhǔn)確率均更高，最終分類準(zhǔn)確率（第 11 會話后）提升6.17%；PD 率亦更低（更優(yōu)），改善4.41%。CUB200 上的結(jié)果詳見表 3 與圖 4。

4.3 消融研究

我們進(jìn)行了一項消融分析，以評估所提 CIAM 框架中每個建模組件在達(dá)成最終準(zhǔn)確率、性能保持及緩解災(zāi)難性遺忘方面所起的作用。消融實驗的結(jié)果分別在圖5-7中展示，對應(yīng) miniImageNet、CIFAR100 和 CUB200 數(shù)據(jù)集。CIAM 在每個會話學(xué)習(xí)后的分類性能與以下幾種場景進(jìn)行了比較：

1. 無基礎(chǔ)網(wǎng)絡(luò)：模型在基礎(chǔ)會話期間無法從相對大量的數(shù)據(jù)樣本和類別中獲得充分的學(xué)習(xí)機(jī)會。
2. 無VAE：模型在小樣本會話期間幾乎無法從小樣本數(shù)據(jù)中學(xué)習(xí)，僅利用已在基礎(chǔ)會話中學(xué)得的基礎(chǔ)網(wǎng)絡(luò)來映射小樣本類別。
3. 不適應(yīng)相關(guān)類別：VAE 僅用于學(xué)習(xí)當(dāng)前小樣本類別的表征，而未利用本模型的核心優(yōu)勢之一——即相應(yīng)地自適應(yīng)相關(guān)歷史類別。
4. 隨機(jī)選擇的相關(guān)類別：VAE 用于自適應(yīng)當(dāng)前小樣本類別及相關(guān)歷史類別，但相關(guān)類別的選擇是隨機(jī)的（即并非通過高斯核計算的相似性）。

如圖5-7所示的消融分析結(jié)果表明，CIAM 與上述四種場景之間存在顯著的性能差異，這實證證明了所提自適應(yīng)機(jī)制及其他建模組件對于達(dá)成 CIAM 所取得性能水平的重要性。

4.4 醫(yī)學(xué)基準(zhǔn)

除了常用的 FSCIL 基準(zhǔn)外，我們將所提 CIAM 框架應(yīng)用于真實世界的醫(yī)學(xué)圖像，采用 MedMNIST 數(shù)據(jù)集（Yang 等, 2021a, 2021b）。MedMNIST 是一個標(biāo)準(zhǔn)的醫(yī)學(xué)影像基準(zhǔn)，由一系列專為醫(yī)療領(lǐng)域機(jī)器學(xué)習(xí)算法評測而設(shè)計的醫(yī)學(xué)圖像數(shù)據(jù)集組成。

MedMNIST 是一個包含 12 個 2D 醫(yī)學(xué)數(shù)據(jù)集的集合，所有數(shù)據(jù)均已預(yù)處理并標(biāo)準(zhǔn)化，用于在 28×28 圖像上執(zhí)行分類任務(wù)（Yang 等, 2021a）。MedMNIST 涵蓋多種醫(yī)學(xué)影像模態(tài)與不同數(shù)據(jù)規(guī)模。其標(biāo)簽已提供，用戶無需領(lǐng)域背景知識或人工調(diào)參——這對分析多模態(tài)異質(zhì)數(shù)據(jù)集而言是一項顯著優(yōu)勢。

與第 4.2 節(jié)對通用基準(zhǔn)的處理方式一致，我們在 MedMNIST 上也遵循該領(lǐng)域先前文獻(xiàn)中采用的 FSCIL 實驗范式。此處同樣采用 ResNet-18 作為骨干（基礎(chǔ)）網(wǎng)絡(luò)，與 Yang 等（2023）的工作一致；據(jù)我們所知，該工作是目前唯二在 MedMNIST 數(shù)據(jù)集上報告了 FSCIL 結(jié)果的研究之一。

Derakhshani 等（2022）雖也在 MedMNIST 上開展實驗，但其采用的是標(biāo)準(zhǔn)（非小樣本）類增量學(xué)習(xí)設(shè)定——即每個增量階段均有充足數(shù)據(jù)；這與我們采用的小樣本類增量學(xué)習(xí)設(shè)定截然不同，后者極具挑戰(zhàn)性：每個增量小樣本階段僅有極少量樣本（如后文所述，每類僅 1 個樣本）可供學(xué)習(xí)。

實驗配置如下：基礎(chǔ)會話微批次大小為 512，各增量小樣本會話為 64；基礎(chǔ)會話訓(xùn)練 150 輪，后續(xù)各增量小樣本會話訓(xùn)練 80 輪。

參照 MedMNIST 上的先前工作（Yang 等, 2023），我們采用包含 6 個選定醫(yī)學(xué)疾病分類數(shù)據(jù)集的 FSCIL 設(shè)定：其中 3 個數(shù)據(jù)集的類別作為基礎(chǔ)會話（共 27 類），另 3 個數(shù)據(jù)集的類別作為增量小樣本類別（共 15 類）。

• 基礎(chǔ)會話數(shù)據(jù)集
• • PathMNIST（Kather 等, 2019）：9 類，源于結(jié)直腸癌組織切片，用于預(yù)測生存期；共 107,180 張圖像（100,000 訓(xùn)練 / 7,180 測試）；
  • DermaMNIST（Tschandl 等, 2018）：7 類，常見色素性皮膚病變；共 10,015 張（8,010 訓(xùn)練 / 2,005 測試）；
  • OrganAMNIST（Bilic 等, 2023）：11 類，基于肝臟腫瘤分割（LiTS）基準(zhǔn)的身體器官圖像；共 58,850 張（41,072 訓(xùn)練 / 17,778 測試）。
• 小樣本會話數(shù)據(jù)集
• • BloodMNIST（Acevedo 等, 2020）：8 類，來自無感染、血液病或腫瘤患者的血液樣本；共 17,092 張（13,671 訓(xùn)練 / 3,421 測試）；
  • BreastMNIST（Al-Dhabyani 等, 2020）：2 類，780 張乳腺超聲圖像（原為 3 類，后將“正常”與“良性”合并為一類，對抗“惡性”）；624 訓(xùn)練 / 156 測試；
  • RetinaMNIST（Dataset, 2020）：5 類，視網(wǎng)膜眼底圖像，用于 5 級糖尿病視網(wǎng)膜病變分級；1,600 張（1,200 訓(xùn)練 / 400 測試）。

基礎(chǔ)會話（27 類）結(jié)束后，我們進(jìn)行15 次“單類單樣本”（1-way 1-shot）增量小樣本會話，每次引入 1 個新類別（共 15 類）。

MedMNIST 醫(yī)學(xué)基準(zhǔn)上的實驗結(jié)果見表 4 與圖 8。CIAM在平均總體分類準(zhǔn)確率、最終分類準(zhǔn)確率及 PD 率上均達(dá)到當(dāng)前最優(yōu)水平：最終分類準(zhǔn)確率較此前最優(yōu)方法提升4.54%；由 PD 衡量的遺忘率（比此前最低 PD 還低4.43%）尤為關(guān)鍵，原因有二：
i) 該真實世界圖像數(shù)據(jù)集恰當(dāng)?shù)啬M了現(xiàn)實場景——FSCIL 框架必須兼顧“適應(yīng)新知”與“保持穩(wěn)定”（即不遺忘舊知）；

ii) CIAM 所實現(xiàn)的性能保持能力，是在極為嚴(yán)苛的15 次 1-way 1-shot 會話（每類僅 1 個樣本）小樣本設(shè)定下達(dá)成的。

此外，從圖 8 可見：在 FSCIL 流程的最后若干會話中，CIAM 的優(yōu)勢更為顯著——表明其具備從更長序列的新類別（如 MedMNIST 中的真實世界數(shù)據(jù)）中持續(xù)學(xué)習(xí)的能力。這在醫(yī)學(xué)等廣泛存在的現(xiàn)實場景中至關(guān)重要。

CIAM 在各數(shù)據(jù)集上的平均訓(xùn)練耗時分別為：miniImageNet 5.4 分鐘、CIFAR100 7.1 分鐘、CUB200 2.2 分鐘、MedMNIST 14.8 分鐘。該運(yùn)行效率在 CIL 范式中極具競爭力，主要?dú)w功于所提機(jī)制：將訓(xùn)練負(fù)擔(dān)分解為兩階段——基礎(chǔ)會話階段的表征預(yù)訓(xùn)練，以及僅在小樣本階段激活并受益于前述預(yù)訓(xùn)練的 VAE 訓(xùn)練階段。

1. 相關(guān)工作

在增量（持續(xù)）學(xué)習(xí)中，訓(xùn)練被劃分為一系列連續(xù)的任務(wù)。在任一訓(xùn)練階段，學(xué)習(xí)器通常僅可訪問當(dāng)前任務(wù)的數(shù)據(jù)。類增量學(xué)習(xí)（CIL）指增量學(xué)習(xí)中更具挑戰(zhàn)性的場景：學(xué)習(xí)器在測試（推理）階段無法獲知任務(wù)ID（Masana 等, 2022）。因此，類增量學(xué)習(xí)器必須學(xué)會區(qū)分所有任務(wù)中已遇到的全部類別（Hou 等, 2019；Yu 等, 2020；Mai 等, 2021；Shim 等, 2021；Zhu 等, 2021；Liu 等, 2023；Rymarczyk 等, 2023；Wen 等, 2023；Zhou 等, 2023a）。此外，類增量學(xué)習(xí)器還須具備持續(xù)學(xué)習(xí)新類別而不遺忘舊類別（即已遇類別）的能力。

CIL 中廣泛應(yīng)用的方法包括回放策略：存儲或生成若干先前類別的代表性樣本，并在遇到新類別后重放這些樣本，以維持舊知識（Liu 等, 2020；Cha 等, 2021；Masana 等, 2022）。另一種常與回放策略結(jié)合的方法是知識蒸餾（Li & Hoiem, 2016；Rebuffi 等, 2017；Wu 等, 2019；Douillard 等, 2020；Cheraghian 等, 2021a；Kang 等, 2022b），其核心在于估計不同任務(wù)間表征變化與相應(yīng)損失之間的關(guān)系，目標(biāo)是約束損失變化的一致性，使得在適配新任務(wù)時，舊表征不會發(fā)生劇烈變動。第三類 CIL 方法基于模型動態(tài)擴(kuò)展，即隨新類別到來而擴(kuò)展模型結(jié)構(gòu)（Liu 等, 2021；Yan 等, 2021；Wang 等, 2023），例如 Yan 等（2021）的工作：在每次增量步驟中，凍結(jié)先前習(xí)得的表征，并通過新增特征提取器引入額外特征維度進(jìn)行擴(kuò)充。

當(dāng)每個增量類別的可用數(shù)據(jù)極其稀缺時，類增量學(xué)習(xí)（CIL）所面臨的嚴(yán)峻挑戰(zhàn)將進(jìn)一步加劇——這正是本文所采用的設(shè)定，稱為小樣本類增量學(xué)習(xí)（FSCIL）。在基礎(chǔ)會話階段（每類擁有充足樣本）訓(xùn)練完成后，F(xiàn)SCIL 學(xué)習(xí)器將面對若干增量小樣本會話，其中每類樣本量極為有限（Chen & Lee, 2020；Tao 等, 2020；Zhu 等, 2021；Liu 等, 2022；Tan 等, 2022；Zhu 等, 2022；Zou 等, 2022；Zhang 等, 2023；Zhuang 等, 2023；Ran 等, 2024；Tian 等, 2024）。

由于所有增量小樣本類別的數(shù)據(jù)均極度稀缺，傳統(tǒng) CIL 策略在 FSCIL 中難以高效運(yùn)作。因此，大多數(shù) FSCIL 算法在基礎(chǔ)會話后，將表征學(xué)習(xí)與分類器解耦：特征提取器通常僅在基礎(chǔ)會話中訓(xùn)練表征，隨后即被凍結(jié)；增量小樣本會話則主要專注于優(yōu)化分類器（Zhang 等, 2021；Akyurek 等, 2022）。除該解耦策略（形成預(yù)訓(xùn)練骨干）外，Zhang 等（2021）還引入了非參數(shù)化的類均值分類器以緩解災(zāi)難性遺忘；Akyurek 等（2022）則將預(yù)訓(xùn)練特征提取器與子空間正則化方案結(jié)合，促使新類權(quán)重向量盡量接近歷史類權(quán)重所張成的空間；Hersche 等（2022）提出的 C-FSCIL 算法，結(jié)合了凍結(jié)的元學(xué)習(xí)特征提取器與一個可重寫、動態(tài)增長的記憶模塊，用于存儲所有已遇類別的向量表征。

其他 FSCIL 相關(guān)工作基于構(gòu)建小樣本類別的代表性原型：Mazumder 等（2021）通過最小化新舊類原型間的余弦相似度以應(yīng)對災(zāi)難性遺忘，并采用參數(shù)子集選擇策略（而非全模型訓(xùn)練）來學(xué)習(xí)新類；Shi 等（2021）在基礎(chǔ)會話中尋求目標(biāo)函數(shù)的平坦局部極小值，增量階段則對原型歸一化，并在平坦區(qū)域內(nèi)微調(diào)參數(shù)；FACT 算法（Zhou 等, 2022）提出前瞻性學(xué)習(xí)策略——為新類分配虛擬原型并預(yù)留嵌入空間；Ji 等（2023）設(shè)計了一種“原型平滑難例挖掘三元組”（PSHT）損失，用于推遠(yuǎn)新類原型彼此之間及與舊類原型的距離；Cheraghian 等（2021b）則通過特征空間聚類的子空間計算策略生成類原型，以關(guān)聯(lián)基礎(chǔ)類與小樣本類。

盡管上述方法在緩解災(zāi)難性遺忘方面取得一定成效，但完全凍結(jié)特征提取器并僅在增量小樣本階段計算原型的做法，已被證實易受潛在偏差影響——其根源在于基礎(chǔ)類與小樣本類之間嚴(yán)重的類別不平衡（Wang 等, 2023b；Zhao 等, 2024）。為此，一系列工作提出基于原型校準(zhǔn)的偏差緩解方案（Zhu 等, 2021；Deng 等, 2022；Wang 等, 2023b；Zhang & Gu, 2023；Zhou 等, 2023b；Zhu 等, 2023b）：Zhu 等（2021）提出增量原型學(xué)習(xí)框架，包含隨機(jī)片段選擇策略與自促進(jìn)原型精煉機(jī)制；TEEN（Wang 等, 2023b）的核心原型校準(zhǔn)策略將新類原型與加權(quán)基礎(chǔ)原型融合，以提升新類判別性——但該方法僅更新當(dāng)前類原型，未調(diào)整相似歷史類，可能導(dǎo)致后者易受偏差影響；Zhang & Gu（2023）提出基于旋轉(zhuǎn)與非線性變換增強(qiáng)的原型重放與校準(zhǔn)技術(shù)；LIMIT 算法（Zhou 等, 2023b）則通過基于 Transformer 的校準(zhǔn)模塊，將新類原型與舊類分類器校準(zhǔn)至同一尺度。

正如 Zhao 等（2024）所指出的，僅靠凍結(jié)和/或原型校準(zhǔn)，仍難以實現(xiàn)平衡且高效的小樣本增量分類。“平衡分類”在此指 FSCIL 分類器不對基礎(chǔ)類或增量小樣本類產(chǎn)生嚴(yán)重偏向；同時，還須高效利用增量小樣本類別的少量樣本，以高保真度表征這些類別。我們推測，特征提取器與分類器之間的僵硬分離可能加劇了此類偏差。因此，我們的工作可視為構(gòu)建了一種新的中間表征——潛在表征 z z，它介于特征提取器（即基礎(chǔ)表征）與分類器之間。該潛在表征通過所提方式優(yōu)化，不僅能適配當(dāng)前類，還能同步調(diào)整相關(guān)歷史類的表征，從而協(xié)同緩解災(zāi)難性遺忘與潛在偏差。

其他 FSCIL 算法還包括：Tao 等（2020）利用神經(jīng)氣體網(wǎng)絡(luò)保持所有類別特征流形的拓?fù)浣Y(jié)構(gòu)；MetaFSCIL（Chi 等, 2022）基于元學(xué)習(xí)，采用雙層優(yōu)化，通過從基礎(chǔ)類中采樣增量任務(wù)序列來模擬評估協(xié)議；Achituve 等（2021）構(gòu)建了一種基于高斯過程擬合的樹狀分層增長模型；van de Ven 等（2021）在 CIL 模型中訓(xùn)練了變分自編碼器，但其面向標(biāo)準(zhǔn)（非小樣本）CIL，且存在嚴(yán)重可擴(kuò)展性問題——每遇新類即需訓(xùn)練（及測試）一個全新 VAE，推理成本亦因每次似然估計需 10,000 個重要性采樣而劇增；ALICE（Peng 等, 2022）以角度懲罰損失替代交叉熵?fù)p失，以獲得更緊湊特征、引入邊界提升判別性，并結(jié)合數(shù)據(jù)增強(qiáng)；SAVC（Song 等, 2023）是一種虛擬對比模型，通過引入虛擬類別將基礎(chǔ)類與新小樣本類分離。

1. 結(jié)論本文提出了一種小樣本類增量學(xué)習(xí)框架，以應(yīng)對該范式的主要挑戰(zhàn)，如災(zāi)難性遺忘、潛在偏差與過擬合。所提框架的核心部分是一個我們專門設(shè)計的潛在變量模型：當(dāng)新小樣本類別到來時，該模型驅(qū)動一種一致性自適應(yīng)過程——不僅調(diào)整新類別，也同步更新相關(guān)的歷史類別，以整合類增量學(xué)習(xí)器剛剛獲得的新知識。我們還推導(dǎo)了對未來類別的誤差泛化上界，為所提策略提供了理論依據(jù)。通過在三個主流小樣本類增量學(xué)習(xí)基準(zhǔn)上的大量實驗，以平均總體分類準(zhǔn)確率、最終分類準(zhǔn)確率及性能下降率（用于評估災(zāi)難性遺忘）等多項指標(biāo)衡量，所提自適應(yīng)策略的有效性得到充分驗證。此外，在真實醫(yī)學(xué)基準(zhǔn)上取得的當(dāng)前最優(yōu)分類準(zhǔn)確率與性能保持結(jié)果，進(jìn)一步證明了該自適應(yīng)策略在現(xiàn)實場景中的學(xué)習(xí)能力。

原文：https://www.jair.org/index.php/jair/article/view/17006/27160