如何在不重溫舊數據的情況下提高泛化能力與減少遺忘

面部識別系統雖然便捷，卻面臨著各種欺詐攻擊的威脅。為應對這一挑戰，面部反欺詐技術應運而生。然而，當這些系統遇到新的數據領域時，如何在不訪問之前數據的情況下進行有效學習，同時避免＂災難性遺忘＂，成為一個亟待解決的難題。最新研究提出了一種無需重放的域連續學習方法，通過動態中心差分卷積適配器和代理原型對比正則化技術，實現了＂泛化更多，遺忘更少＂的雙重目標。這一創新方法不僅保護了用戶隱私，還顯著提升了系統面對未知域的適應能力。面部安全與隱私，如何在這看似矛盾的目標中找到平衡？

安全與隱私的雙重挑戰

人臉識別技術因其便捷性已經被廣泛應用于身份驗證系統中，但這些系統同時也面臨著各種形式的欺詐攻擊威脅。攻擊者可能使用打印照片、視頻重放、甚至是3D面具等方式試圖欺騙系統，繞過身份驗證程序。在2023年的研究中，專家們將這些攻擊分為2D攻擊和3D攻擊兩大類，2D攻擊包括使用紙質照片或者屏幕播放視頻等簡單手段，而3D攻擊則更為復雜，通常涉及具有立體結構的面具或模型。

面對這些威脅，人臉反欺詐（FAS）技術成為保護面部識別系統的關鍵防線。隨著深度學習技術的快速發展，基于神經網絡的FAS方法已逐漸超越并取代了傳統的基于手工特征的方法。這些深度學習模型能夠在相同數據域內實現極高的準確率，但當測試數據與訓練數據存在域偏移時，性能就會大幅下降。

這種跨域問題成為了當前FAS研究面臨的最大挑戰。域偏移可能源自多種因素，如不同的光照條件、攝像設備質量差異或新型攻擊方式的出現。為了解決這個問題，研究人員開發了域泛化和域適應兩類技術。域泛化方法旨在利用多個源域的訓練數據開發一個泛化能力強的FAS模型，而域適應方法則使用目標域數據進行模型調整。

盡管這些方法在一定程度上改善了跨域性能，但它們仍然存在顯著局限。域泛化方法在未見域上的表現仍不令人滿意，而域適應方法則需要昂貴的目標域數據收集過程。更關鍵的是，在實際場景中，導致域偏移的因素（如光照和攻擊類型）不斷變化，使得在固定時間點收集足夠數據變得不切實際。

現實世界中，已部署的FAS系統不斷遇到來自各種域的新數據。這些新數據會被逐漸收集并可用于模型訓練。從頭開始使用舊數據和新數據完全重新訓練模型既效率低下又存在隱私問題。雖然僅使用新數據對基礎模型進行微調更有效率，但這種方法往往導致模型＂忘記＂過去學到的知識，在之前數據上的性能大幅下降，這就是所謂的＂災難性遺忘＂現象。

為了高效適應模型，一些研究者提出了FAS的連續學習方法。為減輕災難性遺忘，這些方法通常利用重放緩沖區存儲以前的數據，以便在微調時一起使用新數據。然而，使用重放緩沖區會帶來額外的存儲負擔。更糟糕的是，由于人臉數據包含身份信息，出于隱私保護考慮，以前的數據并不總是可用于存儲和傳輸。

無重放連續學習新方案

在這種背景下，無重放域連續學習（DCL）設置應運而生。與現有工作不同，新的研究目標是使FAS模型能夠隨著來自不斷變化域的數據持續演化。由于效率和隱私問題，不允許存儲和訪問以前的數據進行重放，且每個連續學習會話中只有少量（低樣本）新數據可用于學習。

研究者們通過實驗觀察到一些有趣的現象：當新來的數據與以前的數據之間存在較大的域差距時，通常會發生災難性遺忘；而在未知域泛化性能更好的模型通常會減少對以前域知識的遺忘。受這些觀察的啟發，研究團隊從泛化的角度解決DCL-FAS問題。

在連續會話中，使用少量數據可能導致過擬合，帶來糟糕的泛化性能和災難性遺忘。為了持續有效地更新模型，研究者引入了針對DCL-FAS的高效參數遷移學習（EPTL）范式，并為視覺變換器（ViT）使用適配器。通過使用適配器，即使在低樣本訓練數據的情況下，ViT模型也能被高效適應。

然而，研究者發現，由線性層組成的普通適配器無法滿足FAS任務提取細粒度特征的需求。因此，他們將普通線性適配器替換為自己提出的動態中心差分卷積適配器（DCDCA），該適配器通過卷積為ViT賦予了圖像特定的歸納偏置，并利用自適應中心差分信息提取細粒度特征。

與之前研究不同的是，DCDCA中中心差分信息的比率不是對所有層固定的，而是可以自適應于新的數據域，這更適合于DCL設置。這種動態特性使模型能夠根據不同層次的語義信息和特征細粒度調整中心差分信息的比例，同時也能適應連續學習過程中數據域的動態變化。

除了改進模型架構外，研究者還提出了代理原型對比正則化（PPCR）方法，以在不使用先前數據的情況下減輕對先前域的遺忘。PPCR利用從前一個任務的類中心提取的先前數據知識來約束連續學習，這些類中心由全連接層的模型權重近似，而不是使用前一個數據。

這種創新方法通過對比學習框架實現，該框架將先前模型的線性分類器權重設置為代理原型，作為對比訓練中的錨點。通過這種方式，新特征被引導聚集在先前原型附近，從而減少了連續學習過程中的遺忘。

為了模擬實際的DCL場景，研究者設計了兩個新的評估協議，同時評估泛化和抗遺忘性能。這兩個協議基于15個公開可用的數據集構建，涵蓋2D和3D攻擊。實驗結果表明，所提出的方法可以顯著提高未見域的泛化性能，并減輕對先前知識的災難性遺忘。

具體來說，研究者觀察到當新數據域與先前數據域之間存在顯著域差距時，通常會發生災難性遺忘。如果新域與先前域有共享知識，則之前的知識可能被回憶起來。此外，泛化能力更好的模型在連續學習中通常會忘記較少的先前域知識。這一觀察背后的見解是直觀的：盡管不同的FAS數據集之間存在域差距，但可能存在一些共享知識和信息。泛化的模型可以跨不同數據集提取泛化知識。因此，當學習新數據集時，模型可以學習與先前數據集相關的線索，從而減少災難性遺忘。

通過實驗驗證，DCDCA和PPCR的組合在DCL-FAS設置中表現出卓越的性能，展示了＂泛化更多，遺忘更少＂的特性，為解決面部反欺詐系統面臨的隱私和安全雙重挑戰提供了一條有效途徑。

強悍表現顯實力

為了全面評估提出的無需重放域連續學習方法在人臉反欺詐系統中的效果，研究團隊設計了兩種實用的評估協議，這兩種協議能夠同時測量模型的泛化能力和抗遺忘能力。這些評估協議基于15個公開可用的數據集構建，覆蓋了多種2D和3D攻擊類型，為模型性能提供了全面嚴格的測試環境。

在這兩種評估協議中，共同的起點是基礎會話（也稱為會話0）的設置。在實際開發中，為了訓練基礎模型，通常會收集包括各種2D和3D攻擊樣本的大規模數據作為基礎數據集。考慮到這一點，研究團隊將SiW、Celeba-Spoof和HiFiMask數據集合并為基礎數據庫，因為這些數據集包含大量數據。協議1和協議2共享相同的基礎模型訓練數據集。

當為新域調整基礎模型時，考慮到模型應該能夠高效地適應小型數據集，研究團隊在每個連續會話（t >； 0）中設置了低樣本條件，即從新數據集的訓練部分隨機提取50幀真實人臉示例和50幀欺騙攻擊示例。在測試階段，使用數據集測試部分的所有樣本進行模型評估。

協議1模擬了基礎模型隨著新數據域出現而適應的場景。從會話1到10，研究團隊按照公共數據集發布年份的升序（從舊到新）安排傳入的域序列。具體來說，會話1到10分別對應REPLAY-ATTACK（2012年）、CASIA-FASD（2012年）、MSU MFSD（2015年）、HKBUMarV2（2016年）、OULU-NPU（2017年）、CSMAD（2018年）、CASIA-SURF（2019年）、WFFD（2019年）、WMCA（2019年）和CASIA-3DMASK（2020年）。

協議2則模擬了基礎模型需要與來自舊設備的數據兼容的場景。因此，協議2是通過將協議1（從舊到新）倒轉來設置的。在這兩種協議中，研究團隊使用ROSE-YOUTU和CeFA數據集作為未見數據集，因為ROSE-YOUTU包含多樣化的2D攻擊樣本，而CeFA包含多樣化的2D和3D攻擊樣本。在每個會話訓練后，模型的未見域泛化性能都會在這兩個數據集上進行評估。

為了量化評估模型性能，研究團隊采用了均值平均AUC（mAA）、均值累積反向傳輸AUC（mABT）和平均未見域泛化AUC（mAGA）三個指標。mAA（越高越好）測量平均域內AUC性能，mAGA（越高越好）評估未見域中的平均跨域性能，而mABT則類似于反向傳輸（BWT），高負值表示更多的遺忘。不同于傳統BWT僅考慮最終會話來測量遺忘，mABT考慮了所有中間會話，因為在實際開發中，何時會出現新的域會話t+1是不確定的，模型應該在會話t之后部署。

實驗結果令人印象深刻。在協議1中，與基線方法ResNet18相比，提出的ViT-DCDCA模型在mAA指標上從83.02%提升到93.23%，mABT指標從-7.19%提升到-3.59%，mAGA指標從58.29%提升到78.70%。這表明ViT-DCDCA不僅在域內性能上優于基線，而且在未見域上的泛化能力也顯著提高，同時減少了對先前知識的遺忘。

在協議2中，ViT-DCDCA同樣表現出優越性能，mAA為93.79%（基線為83.28%），mABT為-1.82%（基線為-7.36%），mAGA為78.09%（基線為56.76%）。這進一步證實了該方法在不同場景下的有效性和魯棒性。

與現有連續學習方法如EWC和LWF的比較也很有啟發性。雖然EWC和LWF在mABT方面表現更好，分別為-0.163%和-0.97%（協議1），但它們在mAA和mAGA上的表現顯著低于所提出的方法，分別為92.35%和91.61%（mAA），78.41%和78.68%（mAGA）。這表明雖然這些方法專門設計用于減少連續學習中的遺忘，但它們沒有考慮泛化能力，這在FAS任務中同樣重要。

研究團隊還實現了兩個最相似的工作進行比較：S-Prompt和DCDCA-PASS。S-Prompt利用提示池存儲先前知識，雖然可以很好地保留先前知識（mABT為-1.73%和-0.65%），但其泛化性能較差（mAGA為51.12%和52.06%）。另一方面，DCDCA-PASS采用自監督學習進行原型增強，但由于其使用的代理任務（旋轉預測）與FAS任務不相關，因此從原型增強中獲得的收益有限。

為了更直觀地理解模型的行為，研究團隊還進行了注意力圖的可視化分析。在協議2中，與ViT-Adapter相比，ViT-DCDCA的注意力圖在會話9和會話10之間幾乎保持不變，表明ViT-DCDCA很少忘記關于CASIA-FASD的知識。相反，ViT-Adapter的注意力圖在這兩個會話之間變化很大，表明它遺忘了大量關于CASIA-FASD的知識。同時，對于未見域的ROSE-YOUTU數據集，ViT-DCDCA激活了紙邊區域進行欺騙分類，而ViT-Adapter則激活了背景區域而非面部區域，這與ViT-Adapter在泛化性能上比ViT-DCDCA差得多相符。

應用遠景無限

通過深入分析實驗結果，我們可以清晰看到提出的無需重放域連續學習方法在人臉反欺詐領域的巨大潛力和廣闊應用前景。這種方法在泛化能力和抗遺忘性能方面的雙重提升，為解決實際FAS系統中的隱私和性能平衡問題提供了新的思路。

該方法實現更好泛化性能與減少遺忘的機制可以從兩個方面理解。一方面，動態中心差分卷積適配器（DCDCA）通過引入圖像特定的歸納偏置和自適應中心差分信息提取，增強了模型提取細粒度特征的能力，這對于區分真實人臉和欺騙攻擊至關重要。另一方面，代理原型對比正則化（PPCR）通過利用之前模型中隱含的知識，在不訪問先前數據的情況下，有效約束了新特征的學習方向，減少了對先前知識的遺忘。

這種雙重機制的協同作用，使得模型在面對新域數據時能夠既＂記住＂過去，又＂適應＂現在，從而在連續學習的過程中保持高性能。實驗結果也印證了這一點，在所有評估指標上，ViT-DCDCA-PPCR都表現出了卓越的平衡性能。

這項技術不僅局限于人臉反欺詐領域，還可能對其他安全相關領域產生深遠影響。例如，在深度偽造檢測、音頻反欺騙和其他需要處理隱私敏感數據的安全任務中，也面臨著類似的連續學習和隱私保護挑戰。提出的方法通過證明無需訪問之前數據也能保持良好性能，為這些領域提供了一個可行的解決方案模板。

在隱私保護與模型性能的平衡方面，該研究提供了一個成功的案例。傳統觀點認為，為了保持模型性能，必須存儲和使用之前的數據，這就造成了隱私和性能之間的矛盾。但是，通過巧妙設計網絡架構和優化算法，該研究表明即使在完全不訪問之前數據的條件下，模型也能保持甚至提高性能。這種＂魚與熊掌兼得＂的解決方案，為處理隱私敏感數據的機器學習系統提供了新的思考角度。

展望未來，無需重放域連續學習的研究方向仍有許多有待探索的可能性。比如，如何進一步優化代理原型的構建方法，使其能更準確地表示先前域的知識；如何設計更加適應FAS特定任務的自適應機制，使模型能夠更好地區分不同類型的欺騙攻擊；以及如何將該方法擴展到多模態數據場景，充分利用不同模態信息的互補性。

此外，該方法也可能與其他新興技術如自監督學習、元學習等結合，進一步提升模型的泛化能力和抗遺忘性能。隨著隱私保護法規的日益嚴格和數據隱私意識的不斷提高，這種不依賴歷史數據的連續學習方法將變得越來越重要。

總的來說，這項研究不僅在技術上提出了創新的解決方案，還為人臉反欺詐系統的實際部署提供了新的可能性。通過平衡隱私保護和性能提升這兩個看似矛盾的目標，使得FAS系統能夠在保護用戶隱私的同時，持續適應變化的環境和新出現的攻擊方式，從而為構建更加安全、可靠的身份驗證系統鋪平了道路。

參考資料

1. Cai， R.， Cui， Y.， Li， Z.， Yu， Z.， Li， H.， Hu， Y.， &； Kot， A. （2023）. Rehearsal-Free Domain Continual Face Anti-Spoofing: Generalize More and Forget Less. ICCV 2023.

2. Yu， Z.， et al. （2020）. Searching Central Difference Convolutional Networks for Face Anti-Spoofing.

3. Li， H. （2018）. Learning Generalized Deep Feature Representation for Face Anti-Spoofing.

4. Liu， S.M.， et al. （2019）. Face Anti-Spoofing: Model Matters， So Does Data.

5. Chen， Z.， et al. （2021）. Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing.