社交偏見在視覺中的多維分析：從數據、架構到訓練目標的影響

人工智能模型的公平性問題日益引起關注，但我們對視覺模型中的社會偏見知之甚少。當我們的圖像識別系統＂看到＂一個女性時，它在背后悄然將其與＂家庭＂而非＂事業＂聯系起來；當系統處理不同膚色的人臉時，它可能無意識地做出偏頗的判斷。這些埋藏在代碼深處的偏見從何而來？是數據本身的問題，還是模型架構的局限？又或許是訓練方法的缺陷？本文揭開視覺Transformer模型中社會偏見的多層面成因，探究訓練數據、模型規模與訓練目標如何共同塑造了AI的＂偏見之眼＂，以及我們可以如何通過技術手段來消除這些不公正的認知。

偏見之眼

視覺Transformer模型（ViT）已經成為現代計算機視覺的基石，但這些模型＂看＂世界的方式卻隱藏著令人擔憂的社會偏見。當我們深入探索這些模型的嵌入空間時，發現它們經常在不同社會群體間做出帶有刻板印象的關聯。比如，研究顯示ViT-MAE模型在處理性別相關圖像時，會將＂女性＂與＂家庭＂關聯度更高，而非＂職業＂；相比之下，對于＂男性＂圖像，模型對＂職業＂和＂家庭＂的關聯則更為平衡。

這些偏見不僅限于性別。研究中使用的圖像嵌入關聯測試（iEAT）發現，幾乎所有視覺Transformer模型都表現出對阿拉伯-穆斯林群體的負面偏見，將他們與＂不愉快＂的概念關聯度更高。類似地，針對膚色、年齡、殘障狀態等維度的測試也揭示了模型中存在的系統性偏見。

圖像嵌入關聯測試本質上是測量模型嵌入空間中各概念之間的余弦相似度。研究者選取了15組測試案例，每組包含兩個目標概念（如＂男性＂和＂女性＂）和兩個屬性概念（如＂職業＂和＂家庭＂）。當模型將某個目標概念與某個屬性的關聯程度顯著高于另一個屬性時，就表明存在偏見。

測量這些偏見需要兩個關鍵指標：統計顯著性和效應量。統計顯著性通過排列測試來確定，計算得到p值（pt）；而效應量（d）則量化偏見的方向和強度。例如，當測試＂男性/女性＂與＂職業/家庭＂的關聯時，ViT-MAE模型顯示出-0.59的效應量，表明模型傾向于將女性與家庭關聯、將男性與職業關聯。

更令人擔憂的是，這些偏見并非僅存在于模型的某一層。研究顯示，生成式學習模型在各層中都表現出相當數量的偏見，而判別式學習模型雖然在淺層與生成式模型相似，但在深層中偏見逐漸減少。這表明偏見可能從模型最基本的特征提取階段就已經形成。

數據的迷局

既然識別了視覺模型中的社會偏見，一個直觀的想法是：這些偏見是否源自訓練數據中的不均衡表示？研究者嘗試通過對抗性數據增強的方法來驗證和解決這一問題。

對抗性數據增強，本質上是創建與原始訓練數據相反的樣本。以性別偏見為例，研究團隊采用了擴散模型圖像編輯技術，為ImageNet-1K數據集生成了159，393張對抗樣本。具體步驟是：首先使用BLIP和CLIP模型為圖像生成文本描述，然后替換描述中的性別詞匯（如將＂男人＂替換為＂女人＂），再通過CLIPSeg模型在原圖中遮罩相關區域，最后用Stable Diffusion模型根據修改后的文本描述重新生成該區域。

這種方法的效果如何？實驗表明，對抗性數據增強確實能減輕某些模型中的社會偏見，但效果因模型而異，且無法完全消除偏見。例如，在BEiT模型上，使用對抗數據訓練一個輪次后，性別偏見的效應量從0.65降低到0.45，但代價是CIFAR10數據集上的線性評估性能從87.5下降到84.8。而在ViT-MoCo模型上，偏見僅從1.41輕微減少到1.39，性能則保持不變。

更有趣的是，對ViT-MAE模型進行相同處理后，性別偏見不降反增，從0.59上升到0.64。這表明不同模型對對抗數據的反應存在顯著差異，對抗訓練的效果可能與模型架構和訓練目標息息相關。

為排除預訓練檢查點的影響，研究者還嘗試了從頭開始使用ImageNet-1K和對抗數據共同訓練模型（雙向CDA）。結果顯示，ViT-MoCo的性別偏見從1.25減少到1.04，而ViT-MAE的偏見仍從0.50增加到0.55。這進一步證實了觀察到的效應并非源自預訓練檢查點，而可能是模型架構差異導致的。

這些發現提出了一個重要問題：社會偏見在視覺模型中的形成是否僅僅是訓練數據中對象共現的結果？研究表明，情況遠比這復雜。雖然某些偏見確實可能源自數據分布不均（如女性更多出現在＂家庭或酒店＂場景，男性更多出現在＂工業和建筑＂場景），但對抗數據增強的有限效果和模型間的差異反應表明，模型架構和訓練目標可能同樣重要。

有趣的是，實驗顯示一些偏見在所有模型中都一致存在，不受訓練目標影響。例如，所有測試的模型都將女性更多與家庭角色而非職業聯系起來，并將阿拉伯-穆斯林群體視為不那么愉快。這表明這些特定偏見可能確實深植于訓練數據中，而其他偏見則可能更多受到模型設計的影響。

這些發現突顯了解決視覺模型社會偏見問題的復雜性。簡單地平衡訓練數據可能不足以消除所有偏見，特別是當不同模型對相同的對抗數據表現出不同反應時。研究者認為，未來可能需要更有原則性的方法，甚至可能需要繞過對抗數據的使用，直接通過后處理干預來消除模型中的偏見。

要解決視覺模型中的社會偏見問題，我們需要全面考慮數據、架構和訓練方法三個維度。偏見不僅僅是數據的問題，而是一個涉及多個因素的復雜現象，需要綜合的解決方案。

教會方式有別

視覺Transformer模型的行為就像接受不同教育的學生，它們對世界的＂理解＂很大程度上取決于訓練的方式。研究顯示，判別式學習和生成式學習這兩種主要的自監督訓練目標，會讓模型形成截然不同的社會偏見模式。

判別式學習模型（如ViT-DINO、ViT-MoCo和ViT-MSN）工作原理類似于＂找不同＂游戲，它們通過比較同一圖像的不同視角來學習特征。這些模型被訓練成識別同一張圖片在不同變形（如旋轉、裁剪或顏色變化）下的共同點。與此相對，生成式學習模型（如BEiT、iGPT和ViT-MAE）則像在玩＂填空＂游戲，它們會嘗試從不完整信息中重建原始圖像，比如從被掩蓋的圖像部分預測完整圖像。

研究結果令人驚訝：判別式學習模型展現出明顯更少的社會偏見。當統計顯著性閾值設為0.05時，判別式模型平均只有約4個顯著社會偏見，而生成式模型則平均有約8個。這種差距在各個統計顯著性水平（從0.0001到0.1）上都保持一致，表明這一發現具有統計學上的穩健性。

為什么會出現這種差異？研究者推測，生成式模型在本質上更容易捕捉訓練數據中的統計模式和依賴關系，因為它們的目標就是重建符合這些模式的圖像。如果訓練數據對特定人口統計、物體或場景存在偏向，模型就會在其表示中無意識地學習并延續這些偏見。相反，判別式學習目標鼓勵模型學習在同一圖像不同視角間保持不變的特征，這可能使模型更關注基本視覺特征，而不那么受社會偏見或外部因素影響。

更令人震驚的是，使用相同數據集訓練的不同模型可能展現完全相反的社會偏見。以美洲原住民與歐裔美國人的比較為例，ViT-MAE模型傾向于將美洲原住民與＂不愉快＂概念關聯（效應量-1.15），而ViT-MoCo模型則表現出相反的關聯模式（效應量-0.66，負號表示偏見方向相反）。這一發現挑戰了＂社會偏見僅僅是訓練數據中物體共現的結果＂這一簡單假設。

盡管如此，研究也發現一些社會偏見在所有模型中都很一致，不受訓練目標影響。比如，所有測試模型都將阿拉伯-穆斯林群體與＂不愉快＂概念關聯度更高（效應量在-0.55到-1.24之間），將女性更多與家庭角色而非職業聯系（效應量在-0.14到-1.41之間）。這表明這些特定偏見可能確實源自訓練數據中的系統性不平衡。

這些發現暗示著訓練目標在社會偏見形成中起著關鍵作用，不僅影響偏見的數量，還影響其方向。因此，未來的偏見緩解工作可能應該聚焦于那些在不同模型間一致存在的社會偏見，這些偏見更可能是數據分布不平衡的結果，而非模型特性的產物。

尺寸見分曉

模型的大小真的重要嗎？在視覺Transformer模型的世界里，答案是肯定的，尤其是談到社會偏見。研究人員對三種不同尺寸的iGPT模型（小、中、大）和三種不同尺寸的ViT-MAE模型（基礎、大、巨大）進行了系統分析，發現模型規模與社會偏見之間存在明顯關系。

隨著模型變大，社會偏見的方向往往保持不變，但強度卻顯著減弱。具體來說，iGPT-S模型在15項測試中的平均絕對效應量約為0.83，而更大的iGPT-L模型則降至約0.54。類似地，ViT-MAE-B的平均絕對效應量約為0.80，而最大的ViT-MAE-H模型降至約0.63。這表明，雖然更大的模型仍然存在社會偏見，但其強度通常較小。

這一現象背后的原因可能是大型模型具有更強的語義信息捕獲能力，減少了對虛假相關性的依賴。簡單來說，更大的模型＂看＂得更全面，不必過度依賴可能含有偏見的簡單線索。然而，研究人員強調，僅靠增加模型規模可能不足以完全消除社會偏見，這只是緩解策略的一部分。

除了模型規模，輸入分辨率也顯著影響著社會偏見的強度。研究者分析了在ImageNet-21k上預訓練并在ImageNet-1k上微調的BEiT模型，這些模型在224224、384384和512512三種不同輸入分辨率上運行。隨著輸入分辨率從224224增加到512512，社會偏見的平均絕對效應量從約0.88降至約0.65。這表明更高的輸入分辨率有助于減輕社會偏見，可能是因為模型能夠獲取更多細節信息，減少了對帶有偏見的簡化假設的依賴。

研究還考察了圖像塊（patch）大小對社會偏見的影響，比較了使用88塊和1616塊的ViT-DINO模型。結果顯示，雖然不同塊大小的模型表現出偏見強度的差異，但沒有觀察到系統性的增加或減少模式。不過，由于可用模型樣本量有限，這一結論需要進一步驗證。

在分析模型內部結構時，研究者還發現一個有趣現象：偏見在模型不同層中的分布與訓練目標相關。對于生成式學習模型（如ViT-MAE和BEiT），社會偏見在各層中數量基本穩定。而對于判別式學習模型（如ViT-DINO和ViT-MoCo），早期層的偏見數量與生成式模型相似，但隨著層數增加，偏見逐漸減少。

這一觀察結果暗示，模型早期層中的偏見可能源于圖像數據的固有特性，與高級語義解釋無關。例如，膚色和體重這類偏見可能連接到低級特征如像素亮度，在模型形成語義概念前就已存在。隨著判別式模型在深層形成更有意義的語義特征，它們表現出更少的偏見，而生成式模型即使在深層也保留了相當數量的偏見。

這些發現指向了一個實用的緩解策略：在選擇模型架構時，可以考慮使用更大的模型和更高的輸入分辨率，尤其是選擇判別式學習目標訓練的模型，以減輕社會偏見的影響。同時，在使用模型嵌入特征時，對于判別式模型，可能優先考慮更深層的特征，因為它們通常包含更少的社會偏見。

總體而言，這些研究結果揭示了視覺Transformer模型中社會偏見形成的復雜性，并提供了多角度的理解和可能的緩解策略。通過適當選擇訓練目標、模型規模和輸入分辨率，可以在保持模型性能的同時減輕社會偏見的影響，朝著更公平的人工智能邁進一步。

參考資料

1. Brinkmann， J.， Swoboda， P.， &； Bartelt， C. （2025）. A Multidimensional Analysis of Social Biases in Vision Transformers. ICCV 2025.

2. Sirotkin， A.， et al. （2023）. Distribution of social biases in self-supervised image models.

3. Webster， R.， et al. （2022）. Counterfactual data augmentation for mitigating biases in vision models.

4. He， K.， et al. （2021）. Masked autoencoders are scalable vision learners.

5. Chen， X.， et al. （2021）. An empirical study of training self-supervised vision transformers.