深度神經網絡中的對抗性樣本遷移：挑戰與機遇

在人工智能迅猛發展的今天，深度神經網絡展現出驚人的能力，從圖像識別到自然語言處理，無所不能。然而，這些看似堅不可摧的系統卻有著致命的弱點：對抗性樣本。這些經過精心設計的微小擾動，能夠在人眼無法察覺的情況下，輕易欺騙神經網絡做出錯誤判斷。更令人憂慮的是，為一個模型設計的對抗性樣本常常能夠遷移到其他完全不同的模型上，這種現象被稱為＂遷移性＂。當對手無需了解目標模型的內部結構，便能成功發起攻擊時，這種遷移性便成為了人工智能安全領域的一大隱患。本文將揭示這一神秘現象背后的機制，探索加強對抗樣本遷移性的方法，以及在這個充滿挑戰與機遇的領域中未來的發展方向。

揭秘遷移性

對抗性樣本就像是深度學習世界中的幽靈，它們能夠悄無聲息地潛入神經網絡中，讓計算機視覺系統把貓識別成狗，把停車標志識別成限速牌。這種技術最早可以追溯到2013年，當時Szegedy等研究人員發現，通過向圖像添加幾乎不可見的擾動，可以導致神經網絡做出錯誤的預測。

更讓人意外的是，為一個神經網絡模型設計的對抗性樣本，往往能夠在未見過的完全不同的模型上也產生欺騙效果。這就好比一種萬能鑰匙，開啟了一個模型的后門，卻意外發現它也能打開許多其他模型的大門。這種現象就是對抗性樣本的＂遷移性＂。

具體來說，假設我們有兩個不同的神經網絡模型，一個是源模型fs，另一個是目標模型ft。如果我們為源模型fs創建了一個對抗性樣本xadv，使得fs對xadv的分類結果與原始輸入x不同，那么當這個對抗性樣本xadv也能讓目標模型ft產生錯誤分類時，我們就說這個對抗性樣本具有遷移性。

對于非目標性攻擊（只需讓模型分類錯誤即可），這種遷移性可以用數學表達式表示為：

當argmax（fs（xadv）） ≠ argmax（fs（x））成立時，argmax（ft（xadv）） ≠ argmax（ft（x））也成立。

而對于目標性攻擊（讓模型將輸入分類為指定的錯誤類別），遷移性則表示為：

當argmax（fs（xadv）） = yt且argmax（fs（x）） = y成立時，argmax（ft（xadv）） = yt也成立，其中yt是目標錯誤類別。

那么，如何評估對抗性樣本的遷移性呢？目前業界普遍采用＂欺騙率＂（Fooling Rate）作為主要指標。假設有P個能夠成功欺騙源模型的對抗性樣本，其中能同時欺騙目標模型的樣本數為Q，那么欺騙率就是Q/P。欺騙率越高，說明對抗性樣本的遷移性越好。

除了欺騙率，還有一些更細致的評估指標。比如＂關注類別排名＂（Interest Class Rank），它考慮的是目標類別在模型預測結果中的排名。在非目標性攻擊中，關注類別是真實類別，排名越靠后越好；在目標性攻擊中，關注類別是目標類別，排名越靠前越好。

此外，Liang等人在2021年提出了兩個基于知識遷移的評估指標。第一個指標α1測量的是源模型上的對抗性擾動在目標模型上的有效性，相對于直接在目標模型上生成的最優擾動。第二個指標α2則衡量兩個模型輸出偏差方向之間的關系。這兩個指標提供了對遷移性的互補視角：α1表示對抗性攻擊遷移的頻率，而α2則編碼了輸出偏差的方向信息。

值得注意的是，對抗性樣本的遷移性是一個復雜的現象，受到多種因素的影響。模型架構的相似性、訓練數據的重疊度、模型的復雜度等都可能影響遷移性。正是因為理解這些因素，我們才能更好地設計出具有高遷移性的對抗性樣本，或者開發出能夠抵抗這類攻擊的防御方法。

增強遷移性

既然對抗性樣本的遷移性如此重要，那么如何增強這種遷移性呢？研究人員提出了一系列基于替代模型的方法，可以從數據增強、優化算法、損失函數設計和模型組件四個角度來理解。

從數據增強的角度看，核心思想是通過對輸入數據進行各種變換，防止對抗性樣本過擬合于特定的替代模型。2019年，Xie等人提出了多樣性輸入方法（DIM），在每次迭代攻擊時以一定概率對輸入圖像進行隨機調整大小和填充。當調整比例越大，對抗性樣本的遷移性就越好。

Dong等人則提出了平移不變性方法（TIM），他們發現不同模型在分類時會關注圖像的不同區域。TIM通過尋找對原始圖像及其各種平移版本都有效的擾動，來增強遷移性。實際上，這種擾動可以通過對梯度應用核矩陣來高效計算。

Lin等人在2019年提出的尺度不變性方法（SIM）則從另一個角度入手。他們發現將輸入圖像縮小往往能保持損失值不變，于是提出了尋找對各種縮小版本的輸入都有效的擾動。與DIM不同，SIM是在每次迭代中同時優化多個不同尺度，而不是每次只應用一種變換。

更激進的方法是Zou等人在2020年提出的調整多樣性輸入（RDI），他們在應用DIM增強后將輸入調整回原始大小，這使得他們能夠測試更激進的調整和填充增強。有趣的是，他們還建議在攻擊優化器中保持步長等于擾動范圍，這進一步提高了攻擊的成功率。

2021年，Wu等人跳出了固定增強集合的思路，提出了對抗性變換遷移攻擊（ATTA），他們用網絡參數化輸入變換，并與對抗性擾動一起優化，使最終攻擊對輸入擾動更具彈性。

從優化算法角度看，許多研究者借鑒了訓練神經網絡的優化技術來提高對抗性樣本的遷移性。Dong等人提出的動量迭代快速梯度符號方法（MI-FGSM）將動量項整合到輸入梯度中，幫助逃離局部最優點。具體來說，在每次迭代中，MI-FGSM通過累積過去的梯度來更新當前梯度，使攻擊方向更加穩定。

Lin等人則借鑒了Nesterov加速梯度（NAG）的前瞻特性，提出了Nesterov迭代快速梯度符號方法（NI-FGSM）。該方法先基于累積更新移動數據點，然后在這個前瞻位置評估梯度，幫助更快地逃離局部最優點。

Zou等人引入了Adam優化器，提出了Adam迭代快速梯度tanh方法（AI-FGTM）。這種方法不僅使用Adam而不是動量公式，還將符號函數替換為tanh函數，使擾動尺寸更小。AI-FGTM還計算自適應步長，使得總擾動量等于預設的擾動范圍。

Wang和He則著眼于梯度方差問題，提出了方差調節技術，利用之前數據點附近的梯度信息來調節當前數據點的梯度。具體來說，他們引入了方差調節MI-FGSM（VMI-FGSM）和方差調節NI-FGSM（VNI-FGSM），通過估計梯度的方差來調整梯度更新方向。

從損失函數設計角度看，不少研究人員嘗試改進傳統的交叉熵損失，以獲得更好的遷移性。Zhang等人在2022年提出的歸一化交叉熵損失（RCE），旨在引導邏輯輸出向最大化與真實類別的排序距離方向更新。RCE損失由兩部分組成：傳統的交叉熵和一個歸一化部分，后者是對每個類別計算的交叉熵的平均值。

Xiao等人則探索了將生成模型作為正則化手段。他們發現即使是最先進的優化算法也難以避免陷入局部最優點，導致遷移性不佳。為解決這個問題，他們提出在低維流形上優化對抗性補丁作為正則化。具體來說，他們使用預先訓練好的生成模型來生成對抗性補丁，并通過潛在向量來優化這些補丁。

Li等人在2020年則從度量學習的角度入手。他們發現有兩個問題使目標性對抗性樣本難以遷移：一是梯度逐漸減小導致噪聲固化，二是目標性對抗性樣本不僅需要接近目標類別，還需要遠離真實類別。為解決這些問題，他們引入了龐加萊球作為度量空間，并提出了龐加萊距離度量損失，使梯度大小自適應，攻擊過程中噪聲方向更加靈活。

從模型組件角度看，Zhou等人在2018年首次證明，最大化干凈圖像和對抗性樣本之間的中間特征圖距離可以增強跨模型的遷移攻擊。他們在損失函數中引入了兩個額外的懲罰項，有效指導傳統非目標性攻擊的搜索方向。

Huang等人于2019年提出的中間層攻擊（ILA），通過放大擾動對源模型特定層的影響來微調現有對抗性樣本。具體來說，ILA尋找一個優化方向，使其與原始對抗性樣本的方向匹配，同時最大化這個方向上的干擾范數。

Wu等人在2020年則從模型注意力角度減輕過擬合。他們將整個特征圖視為基本特征檢測器，通過空間池化梯度來近似特征圖對特定類別的重要性。然后，他們用相應的模型注意力權重縮放不同的特征圖，執行同一層所有特征圖的通道級求和，得到標簽預測的注意力圖。最終目標是結合原始目標和注意力目標，既誤導目標模型的最終決策，又破壞重要的中間特征。

上述各種方法從不同角度增強了對抗性樣本的遷移性。通過數據增強防止過擬合，通過優化算法逃離局部最優，通過改進損失函數更好地引導優化方向，通過操作模型組件破壞特征表示，這些方法共同推動了對抗性樣本遷移性的研究進展。

生成智能攻擊

生成模型在對抗性樣本研究中開辟了一條全新道路。與傳統方法不同，生成模型不再依賴逐步迭代優化擾動，而是直接訓練一個網絡來合成具有遷移性的對抗樣本。這種方法的核心思想很好理解：既然我們可以用神經網絡生成逼真的人臉，為什么不能生成欺騙分類器的圖像呢？

2018年，Poursaeed等人提出了生成對抗擾動（GAP），這是將生成模型應用于對抗樣本合成的開創性工作。他們訓練一個生成器網絡，接收干凈圖像作為輸入，輸出對應的對抗樣本。訓練目標很直接：最大化替代模型的分類錯誤率。生成器一旦訓練完成，生成對抗樣本只需一次前向傳播，效率大大提高。

同年，Xiao等人提出了AdvGAN，將對抗訓練引入生成器訓練過程。通過引入判別器網絡并解決一個極小極大博弈問題，AdvGAN不僅追求欺騙分類器，還力求生成的樣本保持真實感。他們在損失函數中加入了GAN損失項促進生成樣本的真實性，以及一個軟鉸鏈損失限制擾動大小。這種方法在白盒攻擊和黑盒遷移攻擊中都表現出色。

跨域對抗擾動的研究也取得了進展。Naseer等人在2019年探索了生成模型在生成跨不同輸入域的對抗攻擊中的應用。他們提出使用相對主義損失函數來增強跨域目標性攻擊的遷移性。相對主義交叉熵目標提供了一種＂對比＂監督信號，不依賴于底層數據分布，因此能實現更好的跨域遷移性。

為進一步提高跨域目標性攻擊的遷移性，Naseer等人在2021年提出了一種考慮全局分布匹配和樣本局部鄰域結構的目標函數。具體來說，他們添加了兩個損失項：一個最小化源域擾動樣本分布與目標域中目標類真實樣本分布之間的Jensen-Shannon散度；另一個對齊源域和目標域的相似度矩陣，以匹配基于鄰域連接性的局部結構。這種方法在跨域攻擊中表現出色。

2022年，Kim等人提出了注意力多樣性攻擊（ADA），通過隨機擾動各種顯著特征來增強對抗樣本的遷移性。通過操縱圖像注意力，他們的方法能破壞不同模型共享的公共特征，從而實現更好的遷移性。他們的生成器接收圖像和隨機潛碼作為輸入，并提出兩個額外的損失項：一個最大化原始圖像與對抗圖像注意力圖之間的距離，以進行類特定特征破壞；另一個通過鼓勵生成器利用潛碼中的信息來促進樣本多樣性。

在效率方面，早期的生成目標性攻擊方法如GAP和Naseer等人的工作存在參數效率低下的問題，它們需要為每個類別訓練一個單獨的生成器。為解決這個問題，研究者提出了各種構建條件生成模型的方法，用一個統一模型處理不同類別的目標性攻擊。

Yang等人在2022年提出了用于目標性攻擊的條件生成模型，可以構建強語義模式（CG-SP）。具體來說，目標類別信息經過網絡處理后作為生成器的條件。由于單個生成器難以學習所有目標類別的分布，CG-SP將所有類別劃分為可行數量的子集，只為每個子集使用一個生成器，而不是為每個類別使用一個。

注入條件到合成過程的方法也有多種。一些研究者提出添加可訓練嵌入，向輸入張量添加目標類別信息。類似地，GAP++擴展了GAP，將目標類別編碼作為模型輸入，因此只需一個模型即可處理目標性和非目標性攻擊。多目標對抗網絡（MAN）則通過將類別信息整合到中間特征中，實現了用單個模型進行多目標對抗攻擊。

為進一步提高對抗遷移性，內容感知對抗攻擊生成器（CAG）將類激活圖（CAMs）信息整合到輸入中，使對抗噪聲更集中在目標上。擴散模型作為一種新興的生成模型，也開始被應用于對抗攻擊研究。DiffAttack是第一個基于擴散模型的對抗攻擊，其屬性有助于實現不可感知性。具體來說，擾動在編碼器和DDIM后的潛空間中優化。交叉注意力圖用于分散對標記對象的注意力并破壞語義關系，而自注意力圖則用于保持不可感知性和圖像原始結構。

這些基于生成模型的方法展示了一種嶄新的對抗攻擊范式。通過一次性學習生成對抗樣本的映射，而非逐步優化擾動，這些方法不僅提高了效率，還在某些情況下增強了遷移性。隨著生成模型技術的不斷進步，我們可以預期這一領域將繼續涌現創新，帶來更強大、更高效的對抗攻擊方法。

多領域威脅

對抗性樣本的威力遠不止于圖像分類，它已經擴展到計算機視覺的多個領域，甚至跨越到自然語言處理等其他任務。這種廣泛的適用性使得對抗攻擊成為人工智能安全研究中不可忽視的一環。

在圖像檢索領域，Xiao和Wang在2021年探索了對抗樣本的遷移性。他們通過使用隨機噪聲作為代理，建立了對抗樣本遷移性與對抗子空間之間的關系。基于這一發現，他們提出了一種對抗攻擊方法，生成既具對抗性又對噪聲擾動具有魯棒性的樣本，從而提高遷移性。

物體檢測作為計算機視覺的重要任務，同樣面臨對抗攻擊的威脅。Wei等人發現現有圖像物體檢測攻擊方法的遷移性較弱，于是提出了一種生成式攻擊方法，通過使用特征網絡提取的特征圖來增強對抗樣本的遷移性。具體地，他們采用了生成對抗網絡框架，通過高級類別損失和低級特征損失進行訓練。

Cai等人于2022年提出了一種上下文感知攻擊方法針對物體檢測器。他們利用物體的共現、相對位置和大小作為上下文信息，生成具有高遷移性的對抗樣本。Staff等人則探索了遷移攻擊對物體檢測的影響，發現增加攻擊強度可以顯著提高對抗樣本的遷移性。他們還研究了攻擊模型和目標模型的數據集交集對遷移攻擊性能的影響，發現交集大小與遷移攻擊性能直接相關。

圖像分割作為另一個關鍵視覺任務，也不能幸免于對抗攻擊。Gu等人在2021年探索了對抗樣本在圖像分割模型上的遷移性。他們研究了對抗樣本在分類和分割模型上的過擬合現象，并提出了一種利用輸入多樣性的簡單有效攻擊方法，為分割模型生成具有高遷移性的對抗樣本。Hendrik Metzen等人則探索了對抗樣本通過生成通用對抗擾動來攻擊語義圖像分割模型的遷移性，他們提出的方法可以任意改變圖像的語義分割，并在整個訓練集上優化對抗擾動。

3D任務也面臨類似挑戰。Hamdi等人發現現有3D點云對抗攻擊缺乏跨網絡遷移性，于是提出了一種有效的3D點云對抗攻擊方法，通過在目標中包含自動編碼器重建的對抗損失來利用輸入數據分布。Pestana等人則研究了由3D對抗紋理生成的3D對抗樣本的遷移性，提出使用端到端優化為3D模型生成對抗紋理。具體地，他們采用神經渲染生成對抗紋理，并集成非魯棒和魯棒模型以提高對抗樣本的遷移性。

人員重識別系統同樣存在漏洞。Wang等人在2020年探索了對抗樣本在這些系統上的遷移性，提出了一種學習錯誤排序方法來生成對抗樣本。他們還采用多階段網絡通過提取可遷移特征來提高對抗樣本的遷移性。

在人臉識別領域，Jia等人于2022年指出，先前的人臉識別對抗攻擊方法依賴于在像素上生成對抗樣本，這限制了對抗樣本的遷移性。于是他們提出了一種統一靈活的對抗攻擊方法，基于目標特定的人臉識別特征為不同屬性生成對抗性擾動，從而提升攻擊的遷移性。

視頻任務也不例外。Wei等人在2022年發現現有視頻攻擊方法的遷移性有限，因此提出了基于時間平移的可遷移對抗攻擊方法，在時間平移的視頻片段上生成對抗擾動，以增強攻擊的遷移性。

自然語言處理任務同樣面臨對抗攻擊的威脅。Yuan等人在2020年對文本分類模型的對抗樣本進行了全面調查，深入研究了不同因素（如網絡架構）對對抗樣本遷移性的影響。他們提出采用通用算法來發現能生成具有高遷移性對抗樣本的模型集合。He等人率先展示了攻擊者破壞基于BERT的API服務的能力，使用獲得的模型可以生成具有高遷移性的對抗樣本。Wang等人則研究了主題模型對抗樣本的遷移性，提出使用生成器生成有效對抗樣本并使用集成方法找到最佳模型集成，以提高攻擊遷移性。

跨任務的對抗遷移研究也取得了進展。Naseer等人提出了一種基于神經表示扭曲的對抗攻擊方法，展示了對抗樣本在不同神經網絡架構、數據集和任務之間的顯著遷移性。他們還提出了域不變對抗物的概念，證明了不同數據集和模型之間存在共享的對抗空間，并提出利用能夠欺騙在完全不同域上訓練的網絡的對抗模式來提高攻擊遷移性。

Lu等人研究了對抗樣本在各種計算機視覺任務（包括物體檢測、圖像分類、語義分割等）之間的遷移性，提出了一種分散減少對抗攻擊方法，通過最小化中間特征圖的擴散來提高對抗樣本在跨任務中的遷移性。Wei等人研究了對抗擾動在不同模態之間的遷移性，通過利用圖像和視頻幀之間低級特征空間的相似性，將對抗樣本應用于白盒圖像模型來攻擊黑盒視頻模型，并提出了一種有效的跨模態攻擊方法，通過最小化干凈圖像和對抗圖像之間特征的余弦相似度來增強攻擊遷移性。

盡管對抗性樣本遷移研究取得了長足進展，但仍面臨諸多挑戰和機遇。當前的對抗遷移遠非完美，在各種神經網絡架構上評估時，遷移性能往往會下降，這突顯了跨不同模型的遷移一致性問題。目標性對抗攻擊的遷移更是一項艱巨任務，誤導到特定類別要比簡單的欺騙難得多。現有的遷移增強方法主要針對具有預定義類別的視覺分類模型開發，而當前從不同角度提取視覺信息的視覺語言模型對遷移性提出了獨特挑戰。

關于更好遷移性的源模型選擇也是一個關鍵問題。如何訓練一個模型以提高在其上創建的對抗樣本的遷移性？一種有前途的方法是從知識遷移的角度學習模型。具有高知識遷移性的模型自然成為更好的源模型，因為在其上生成的對抗樣本具有更大能力成功欺騙其他模型。后續問題是哪種模型架構更易于向其他架構遷移——是CNNs、Vision Transformers、Capsule Networks還是Spiking Neural Networks？

評估指標的完善也是一個重要方向。雖然欺騙率作為流行選擇常用于量化對抗樣本的遷移性，但它高度依賴于目標模型的選擇，這給評估過程帶來了相當大的變異源。最近的研究表明，目標模型的選擇會對不同遷移性增強方法的相對排名產生深遠影響。因此，需要更全面的基準測試，涵蓋更廣泛的模型架構和配置。除了經驗評估，對遷移性的理論特征描述也日益重要，這類理論分析可以提供關于對抗攻擊遷移性背后原理的寶貴見解。

參考資料

1. Gu， J.， Jia， X.， de Jorge， P.， et al. （2023）. A Survey on Transferability of Adversarial Examples across Deep Neural Networks. arXiv:2310.17626v1.

2. Goodfellow， I.J.， Shlens， J.， &； Szegedy， C. （2014）. Explaining and harnessing adversarial examples.

3. Liu， Y.， Chen， X.， Liu， C.， &； Song， D. （2017）. Delving into transferable adversarial examples and black-box attacks.