異常檢測面臨的大挑戰(zhàn)：數(shù)據(jù)分布偏移下如何準確識別異常？

在機器學習的世界里，有一個棘手的問題一直在困擾著研究者——當測試數(shù)據(jù)與訓練數(shù)據(jù)的分布不同時，異常檢測系統(tǒng)往往會失效。想象一下，你訓練了一個能在工廠環(huán)境中完美識別產品缺陷的系統(tǒng)，但當光線條件改變或產品外觀略有變化時，系統(tǒng)卻無法正常工作。這種現(xiàn)象被稱為＂分布偏移＂，它像一個隱形殺手，悄無聲息地降低異常檢測的準確率。傳統(tǒng)方法在面對這種挑戰(zhàn)時顯得力不從心，而最新研究表明，通過學習分布不變的正常性表示和測試時增強技術，我們可以顯著提高系統(tǒng)在分布偏移下的魯棒性。這場數(shù)據(jù)分布與異常檢測的博弈，正在迎來新的轉機。

不尋常的探索

異常檢測是機器學習領域的一項重要任務，簡單來說，就是讓機器學習識別數(shù)據(jù)中那些罕見或不尋常的模式。這項技術已經在許多領域發(fā)揮著關鍵作用，從金融欺詐檢測到網(wǎng)絡安全監(jiān)控，從工業(yè)產品質量檢測到醫(yī)療疾病診斷。

在金融領域，異常檢測系統(tǒng)可以找出可疑的交易模式，防止欺詐行為。例如，當一張信用卡突然在地理位置相距遙遠的兩個地點連續(xù)使用時，系統(tǒng)會立即標記這種異常行為，進而凍結賬戶或通知持卡人。

在工業(yè)制造中，異常檢測被用于自動檢查產品缺陷。MVTec數(shù)據(jù)集就是專門為這類任務設計的，它包含了15個子數(shù)據(jù)集，涵蓋從紡織品到機械零件等各種物品的正常樣本和有缺陷樣本。通過分析圖像中的異常模式，機器可以識別出肉眼難以察覺的細微瑕疵，大大提高了產品質量控制的效率。

醫(yī)療診斷也是異常檢測的重要應用場景。通過學習大量正常的醫(yī)療圖像（如X光片、MRI掃描），系統(tǒng)能夠幫助醫(yī)生識別出異常結構，輔助疾病早期診斷，挽救生命。

但是，現(xiàn)實世界復雜多變。我們訓練異常檢測系統(tǒng)時使用的數(shù)據(jù)，往往與實際應用環(huán)境中的數(shù)據(jù)存在差異。這種差異被稱為＂分布偏移＂，它是異常檢測面臨的最大挑戰(zhàn)之一。

分布偏移可以是各種形式的。比如，在工業(yè)檢測中，光照條件的變化會導致同一個物體在圖像中的外觀大不相同；在醫(yī)療圖像分析中，不同的成像設備可能產生風格迥異的圖像；即使是背景的細微變化，也可能導致檢測系統(tǒng)將正常樣本誤判為異常。

以MVTec數(shù)據(jù)集中的＂木材＂類別為例，在訓練數(shù)據(jù)中，所有正常木材樣本可能都是在固定的光照條件下拍攝的。但在實際應用中，光照強度和角度可能會發(fā)生變化，導致木材的紋理和顏色在圖像中呈現(xiàn)出與訓練樣本不同的特征。此時，即使是完全正常的木材樣本，也可能被系統(tǒng)錯誤地標記為異常。

PACS數(shù)據(jù)集展示了更為復雜的分布偏移情況。該數(shù)據(jù)集包含四個不同風格的域：藝術繪畫（Art）、卡通（Cartoon）、照片（Photo）和素描（Sketch）。每個域中的圖像都代表著相同的對象類別，但視覺呈現(xiàn)方式完全不同。如果我們將＂大象＂類別的照片域圖像作為正常樣本進行訓練，那么在測試時，藝術繪畫或素描風格的大象圖像可能會被錯誤地識別為異常，盡管它們在語義上都是大象。

同樣的問題也出現(xiàn)在MNIST/MNIST-M數(shù)據(jù)集上。MNIST包含手寫數(shù)字的灰度圖像，而MNIST-M是通過在原始MNIST圖像上添加隨機彩色圖案生成的。盡管兩個數(shù)據(jù)集表示相同的數(shù)字類別，但它們的視覺特征存在顯著差異，導致在MNIST上訓練的模型在MNIST-M上表現(xiàn)不佳。

傳統(tǒng)的異常檢測方法通常假設訓練數(shù)據(jù)和測試數(shù)據(jù)來自相同的分布，這在現(xiàn)實世界中往往是不成立的。當面臨分布偏移時，這些方法的性能會大幅下降。特別是缺乏異常樣本標記的情況下，學習魯棒的異常檢測模型變得更加困難。

方法的困境

目前，異常檢測領域已經發(fā)展出多種方法來解決常規(guī)場景下的問題，但這些方法在面對分布偏移時往往表現(xiàn)不佳。同時，雖然域外泛化領域的研究提供了一些應對分布偏移的思路，但這些方法也難以直接應用到異常檢測任務中。

深度支持向量數(shù)據(jù)描述（Deep SVDD）是一種流行的異常檢測方法，它使用深度神經網(wǎng)絡學習將正常數(shù)據(jù)映射到一個緊湊的超球體中，而異常數(shù)據(jù)則位于該球體之外。這種方法在數(shù)據(jù)分布穩(wěn)定的情況下效果不錯，但一旦測試數(shù)據(jù)的分布發(fā)生偏移，模型的性能就會急劇下降。

特征異常生成對抗網(wǎng)絡（f-AnoGAN）采用生成對抗網(wǎng)絡的思想，學習正常數(shù)據(jù)的隱空間表示，然后使用重建誤差來檢測異常。這種方法雖然能夠捕獲復雜的數(shù)據(jù)分布，但它過度擬合訓練數(shù)據(jù)的分布特征，導致對分布偏移極為敏感。

知識蒸餾異常檢測（KDAD）利用教師-學生框架，通過讓學生網(wǎng)絡學習教師網(wǎng)絡的知識來進行異常檢測。盡管這種方法在常規(guī)異常檢測任務中表現(xiàn)優(yōu)異，但在面對分布偏移時，由于學生網(wǎng)絡難以泛化到不同于訓練分布的數(shù)據(jù)，其性能同樣會受到嚴重影響。

反向蒸餾異常檢測（RD4AD）是最近提出的一種方法，它通過反向蒸餾過程來學習正常樣本的特征表示。雖然該方法在多個基準數(shù)據(jù)集上達到了最先進的性能，但當測試數(shù)據(jù)與訓練數(shù)據(jù)存在明顯分布差異時，它仍然難以有效識別異常。

從實驗結果來看，在MVTec數(shù)據(jù)集上，RD4AD在原始測試數(shù)據(jù)上可以達到98.64%的AUROC（受試者工作特征曲線下面積）性能，但在存在亮度變化的測試數(shù)據(jù)上，其性能下降到96.50%；在對比度變化的測試數(shù)據(jù)上，性能進一步下降到94.12%；在高斯噪聲干擾下，性能甚至降至90.14%。這種性能下降清楚地表明，即使是最先進的異常檢測方法，也難以應對分布偏移帶來的挑戰(zhàn)。

在MNIST/MNIST-M數(shù)據(jù)集上，情況更為嚴峻。RD4AD在MNIST原始測試數(shù)據(jù)上可以達到98.89%的AUROC，但在MNIST-M上性能驟降至58.09%，幾乎接近隨機猜測的水平。這表明當分布偏移較大時，傳統(tǒng)異常檢測方法幾乎完全失效。

那么，是否可以借鑒域外泛化（OOD generalization）領域的方法來解決這個問題呢？域外泛化主要關注如何訓練能夠在未見過的域上表現(xiàn)良好的模型。

數(shù)據(jù)增強是一種流行的域外泛化方法。AugMix通過混合多種圖像增強操作來增加訓練數(shù)據(jù)的多樣性，從而提高模型的泛化能力。Mixstyle和EFDM則是在特征層面進行數(shù)據(jù)增強，通過混合不同樣本的風格特征來幫助模型學習與風格無關的表示。

自監(jiān)督學習也是域外泛化的重要方向。Jigsaw任務要求模型學習重組打亂的圖像塊，這有助于模型獲取與位置和結構相關的不變特征，提高對分布偏移的魯棒性。

然而，這些域外泛化方法在應用到異常檢測任務時面臨重大挑戰(zhàn)。首先，異常檢測的訓練數(shù)據(jù)通常只包含一個類別（正常類），而域外泛化方法往往需要多類數(shù)據(jù)來學習域不變特征。其次，異常檢測訓練數(shù)據(jù)通常缺乏多樣性，難以通過簡單的數(shù)據(jù)增強生成足夠多樣的樣本。最后，一些域外泛化方法可能會生成不希望的＂異常＂樣本，反而降低異常檢測的效果。

實驗結果也證實了這一點。在將AugMix、Mixstyle和EFDM等域外泛化方法與RD4AD結合后，雖然在某些情況下可以略微提高模型在分布偏移下的性能，但提升幅度有限，甚至在一些情況下會導致性能下降。例如，在MVTec數(shù)據(jù)集上，將AugMix與RD4AD結合后，在原始測試數(shù)據(jù)上的性能從98.64%下降到96.29%，表明簡單地結合域外泛化方法可能會破壞模型在原分布上的表現(xiàn)。

這些結果凸顯了異常檢測在分布偏移下的特殊挑戰(zhàn)，也表明需要開發(fā)專門針對這一問題的新方法，而不是簡單地借用現(xiàn)有技術。

創(chuàng)新破解之法

GNL方法（分布不變正常性學習）為解決分布偏移下的異常檢測問題提供了全新思路。與傳統(tǒng)方法不同，GNL著眼于減小原始分布和偏移分布之間的差距，讓模型能夠學習到不受分布變化影響的正常樣本特征。

GNL的核心思想十分直觀：在訓練和推理兩個階段都盡量縮小ID（原始分布）和OOD（偏移分布）正常樣本之間的分布差距。這種方法不需要OOD數(shù)據(jù)的標簽，完全是無監(jiān)督的，非常適合實際應用場景。

具體來說，GNL包含兩個主要部分：分布不變正常性學習和面向異常檢測的測試時增強方法。在訓練階段，GNL引入了一個創(chuàng)新的正常性保持損失函數(shù)，幫助模型學習分布不變的正常性表示。這個損失函數(shù)同時在兩個層面發(fā)揮作用：在瓶頸層（高層特征）和解碼器的最后一個塊（低層特征）。

瓶頸層負責提取更復雜、更高層次的特征，而解碼器的最后一個塊則負責重建簡單的、低層次的特征，如邊緣、角落和斑點。通過這種設計，GNL確保了從不同合成方法生成的相同圖像在這兩個層面的特征表示都是相似的，同時保留了足夠的信息用于解碼器中的重建。

為了實現(xiàn)這一目標，GNL使用了一種經過修改的數(shù)據(jù)增強方法AugMix。與原始的AugMix不同，GNL移除了可能生成異常的增強類型，如＂剪切x＂、＂剪切y＂、＂平移x＂和＂平移y＂，確保所有生成的數(shù)據(jù)仍然是正常樣本。

這種數(shù)據(jù)增強方法生成了多個具有不同風格的正常樣本變體，但它們的語義內容保持不變。GNL隨后通過余弦相似度損失函數(shù)，迫使模型在不同風格的樣本間學習一致的特征表示。具體來說，損失函數(shù)Labs量化了原始樣本與每個變換后的正常樣本在瓶頸層的嵌入特征之間的差異，而Llowf則量化了解碼器最后一個塊輸出的差異。

這些損失函數(shù)與原始RD4AD的損失函數(shù)Lori結合，形成了分布不變、正常性保持的綜合損失函數(shù)：L = λori * Lori + λabs * Labs + λlowf * Llowf，其中λori、λabs和λlowf是決定各類損失函數(shù)權重的超參數(shù)。

在推理階段，GNL采用了特征分布匹配（FDM）技術，進一步減小測試樣本與訓練分布之間的差距。具體做法是在教師編碼器的前兩個殘差塊應用FDM，將訓練數(shù)據(jù)的分布信息注入到推理樣本中。

在這個過程中，給定一個測試樣本p和隨機選擇的一個訓練正常樣本q，GNL首先將它們輸入到教師編碼器中。然后，在每個殘差編碼塊輸出后，應用FDM技術將q的分布特性融入到p的特征中。這有助于將OOD測試樣本的分布特征拉回到訓練分布，同時不會顯著改變ID測試樣本的特征分布。

GNL選擇了最新的精確特征分布匹配（EFDM）作為FDM技術。EFDM精確匹配圖像特征的經驗累積分布函數(shù)，實現(xiàn)了準確的特征分布對齊，并能匹配均值、標準差等統(tǒng)計屬性。這種方法比簡單假設特征遵循高斯分布的早期FDM技術更加精確。

值得注意的是，雖然FDM技術在域外泛化研究中也有應用，如Mixstyle和EDFMix，但它們通常用于訓練階段，目的是通過混合訓練集中可用樣本的子域來創(chuàng)建新的分布樣本。而GNL創(chuàng)新地將FDM應用于推理階段，目標也完全不同。

通過這種訓練和推理階段的雙重優(yōu)化，GNL能夠有效應對分布偏移帶來的挑戰(zhàn)，在保持ID數(shù)據(jù)檢測性能的同時，大幅提高OOD數(shù)據(jù)上的異常檢測性能。

效果展示驗證

GNL方法在多個數(shù)據(jù)集上的表現(xiàn)令人印象深刻，不僅遠超現(xiàn)有的異常檢測方法，也超過了簡單結合的OOD泛化方法。多項實驗結果充分證明了GNL在分布偏移場景下的有效性和魯棒性。

在MVTec數(shù)據(jù)集上，GNL在原始測試數(shù)據(jù)上達到了97.99%的AUROC，非常接近SOTA方法RD4AD的98.64%。更令人矚目的是，在存在分布偏移的測試數(shù)據(jù)上，GNL表現(xiàn)出色：亮度變化下達到97.43%（vs. RD4AD的96.50%），對比度變化下達到97.46%（vs. RD4AD的94.12%），散焦模糊下達到97.77%（vs. RD4AD的98.9%），高斯噪聲下達到94.10%（vs. RD4AD的90.14%）。這些結果表明，GNL在保持原始分布性能的同時，顯著提高了對各類分布偏移的魯棒性。

CIFAR-10數(shù)據(jù)集上的結果也展示了類似的趨勢。GNL在原始CIFAR-10上的AUROC為82.29%，略低于RD4AD的84.62%，但在偏移數(shù)據(jù)上表現(xiàn)更佳：亮度變化下為77.94%（vs. RD4AD的75.89%），對比度變化下為66.13%（vs. RD4AD的65.34%），散焦模糊下為64.04%（vs. RD4AD的66.67%），高斯噪聲下為61.51%（vs. RD4AD的58.82%）。這再次證明了GNL在分布偏移場景下的優(yōu)勢。

在MNIST/MNIST-M這對分布差異較大的數(shù)據(jù)集上，GNL的優(yōu)勢更加明顯。在一對多設置中，GNL在MNIST上達到96.91%的AUROC，略低于RD4AD的98.89%，但在MNIST-M上，GNL達到了70.87%的AUROC，遠高于RD4AD的58.09%，提升了超過12個百分點！在多類設置中，GNL在MNIST-M上的AUROC為58.50%，同樣大幅領先于RD4AD的51.74%。

PACS數(shù)據(jù)集的結果進一步驗證了GNL的有效性。GNL在照片域（ID數(shù)據(jù)）上達到87.67%的AUROC，超過了RD4AD的81.49%。在三個OOD域上，GNL也取得了顯著優(yōu)勢：藝術畫域上為65.62%（vs. RD4AD的61.07%），卡通域上為67.96%（vs. RD4AD的60.34%），素描域上為62.39%（vs. RD4AD的55.06%）。這些結果表明，GNL不僅提高了OOD性能，還增強了ID性能，這可能是因為照片域本身包含多個子域，GNL通過學習更泛化的正常性表示，改善了在所有子域上的性能。

為了進一步了解GNL對不同程度分布偏移的魯棒性，研究者還進行了一系列對比實驗。結果顯示，隨著＂對比度＂偏移程度的增加，基線方法（RD4AD、Augmix和EFDM）的性能顯著下降，而GNL保持穩(wěn)定。當偏移程度在1到3之間時，GNL性能幾乎不變；即使在偏移程度達到4和5的極端情況下，GNL的AUROC也只下降約5%，而競爭方法下降了約30%-35%。這充分證明了GNL對嚴重分布偏移的強大魯棒性。

為驗證GNL各組件的有效性，研究者還進行了詳細的消融研究。結果表明，分布不變正常性學習（DINL）和面向異常檢測的測試時增強（ATTA）這兩個組件都對GNL的性能有積極貢獻。具體來說，在PACS數(shù)據(jù)集上，單獨應用ATTA可以在OOD數(shù)據(jù)集上獲得約2%的AUROC提升，但會導致ID數(shù)據(jù)上性能略有下降。當應用DINL時，無論是ID還是OOD數(shù)據(jù)集都獲得了4%-7%的AUROC提升。當兩者結合使用時，性能進一步大幅提升，表明這兩個組件能很好地互相補充。

研究者還分析了GNL的超參數(shù)敏感性。結果表明，GNL對于不同的α值（在ATTA中控制風格轉移的嚴重程度的超參數(shù)）具有良好的穩(wěn)定性。在Photo和Cartoon數(shù)據(jù)集上，GNL的性能在不同α值下保持一致，而在Art數(shù)據(jù)上，隨著α增加，性能有所提高；在Sketch數(shù)據(jù)上，性能在α=0.4時達到最大，之后略有下降。總體來說，中等值（如α=0.5）在實踐中被推薦使用。

對于DINL組件中的三個λ超參數(shù)（λori、λabs和λlowf），研究者使用了四種設置進行評估，結果顯示GNL在不同超參數(shù)比例下都表現(xiàn)出良好的魯棒性。

在時間和空間效率方面，GNL通過改進訓練目標和RD4AD的推理過程，避免了增加參數(shù)數(shù)量，保持了空間復雜度不變。盡管GNL的訓練時間略長于RD4AD，但這種額外時間換來了實質性的性能提升。在推理速度方面，GNL保持了合理的響應性，在RTX 3090 GPU上處理PACS數(shù)據(jù)集中的＂Dog＂類別圖像時，每張圖像僅需0.0356秒，而RD4AD需要0.0282秒。

綜上所述，GNL為解決分布偏移下的異常檢測問題提供了一種有效方法。通過同時優(yōu)化訓練和推理階段，GNL顯著提高了異常檢測模型在面對分布偏移時的魯棒性，同時保持了在原始分布上的良好性能。這一研究代表了無監(jiān)督異常檢測領域的重要進展，為更現(xiàn)實的應用場景提供了有力支持。

參考資料

1. Cao， T.， Zhu， J.， &； Pang， G. （2023）. Anomaly Detection under Distribution Shift. ICCV 2023.

2. Deng， C.， et al. （2022）. RD4AD: Reverse Distillation for Anomaly Detection.

3. Zhang， H.， et al. （2023）. Exact Feature Distribution Matching for Arbitrary Style Transfer and Domain Generalization.