為AI提供一副公平的臉譜：索尼AI帶來更為公正的AI視覺新標桿

過去十多年里，AI 在圖像識別、面部識別、姿態估計等領域飛速發展。從自動駕駛、智能監控，到社交媒體濾鏡、增強現實，視覺 AI 幾乎無處不在。但與此同時，人們也越來越意識到一個問題：許多視覺 AI 模型，在多樣性等方面缺乏深度，并且持續傳遞著偏見。

這些數據集損害了 AI 模型的公平性和準確性，并剝奪了利益相關者的權益。為此，索尼 AI 推出了公平的以人為本的圖像基準 FHIBE，可作為許多以人為本的計算機視覺任務的公平性評估數據集，包括姿態估計、人員分割、人臉檢測和驗證，以及視覺問答。

相關研究內容，以「Fair human-centric image dataset for ethical AI benchmarking」為題，發布在《Nature》。

論文鏈接：https://www.nature.com/articles/s41586-025-09716-2

設計中的考量

傳統多數視覺數據集來源于網絡爬蟲和未經授權的圖像采集，往往缺乏：

• 數據主體同意與授權
• 人口與地理多樣性
• 詳盡結構化標簽（膚色、發色、年齡、性別、自我認同等）
• 環境 / 拍攝條件 / 器材 /背景 /姿態 /遮擋等現實復雜因素

這些不足不僅違背倫理，更使得模型對多數人群的表現不確定、容易引入偏見。更糟的是，在某些任務（如視覺問答、姿態估計、人像分割）上，缺乏適合的大規模公開基準集，導致開發者無法系統檢測或糾正偏差。

故而，評估模型和減輕偏見對于倫理人工智能的發展至關重要。

索尼 AI 所提出的 FHIBE 數據集來自于 1,711 名主要受試者，包含 10,318 張共計 1,981 個獨特個體的圖像，每個主要主題平均有六張圖像。這個數據集還具備自我報告的姿態和互動標注，囊括了各種身體、頭部、互動姿態，與豐富的人體外觀特征。

圖示：FHIBE 中所有圖像都提供了關于圖像主體、工具和環境的標注。

此外，FHIBE 包含兩個衍生人臉數據集，這兩個數據集也同樣包含所有標注。

與現有數據集相比，FHIBE 作為唯一一個為人工智能評估和偏差緩解而收集的數據集，具有堅實的同意基礎；相比其他基于同意的數據集，在診斷人工智能中的偏見方面具有更大的實用性。

此外，FHIBE 在同意驅動的數據集中因其詳細且自我報告的人口統計標簽而脫穎而出，這些標簽能夠支持在人口統計屬性復雜交叉點的模型性能研究。

評估與發現

FHIBE 的多樣化和全面的標注在公平性評估中提供了廣度和深度，能夠評估模型在一系列人口統計屬性及其交叉點上的表現。

通過在對多個流行模型和不同任務（比如姿態估計、人臉檢測等）進行系統測試，研究團隊很快發現了一些問題，基于多個敏感屬性（包括代詞、年齡、血統和膚色）的交叉群體在表現上存在最大差異。

在年齡上，年輕人，尤其是淺膚色的會更頻繁地出現在表現較好的群體中；老年人，尤其是膚色較深的，則與其相反。

圖示：CLIP 在 FHIBE 上的預測偏見。

對于一些模型甚至存在意外偏差來源，如：面部識別模型對“光線較差 + 拍攝距離遠 + 面部遮擋 + 特定發型 /面部毛發”的組合極為敏感，這些情況在傳統數據庫中很少遇到，也因此從未被系統測試過。

此外，在評估使用不同觀測數據集的模型時，常常會出現相互沖突的偏倚趨勢。除了上述的膚色、發色影響之外，動作姿態的不同也會導致偏差出現。這些發現強調了解決模型錯誤相關來源的重要性，并有助于指導開發者優化模型。

而對于兩個受試模型 CLIP 與 BLIP-2，前者更傾向于默認主體為男性，對不合刻板印象的場景存在更多偏見；后者則更傾向于默認為女性，且對負面提示會更具有性別與膚色偏見。利用 FHIBE 會更輕易地發現這些未被記錄的偏差，這些觀察凸顯了這些模型中持續存在的偏見，并強調了采取偏見緩解策略的必要性。

讓 AI 看清世界

FHIBE 標志著更負責任地讓 AI 發展的一個轉折點，其中的一項關鍵貢獻就是落實了許多僅在倡議中被反復呼吁的原則，為未來的倫理數據收集工作鋪平了道路。

創建一個以人為本的數據集本身就具有挑戰性，這其中還需要考慮到數據貢獻者與實驗參與者所需要付出的成本。總體來看，考慮到訓練最先進AI模型所需的大量數據，協商、多元且合理報酬的數據收集成本依然很高。

但這不是放棄工作的原因。實驗團隊希望憑借 FHIBE 整合全面且經共識來源的圖像和標注，為 AI 系統建立負責任的數據集新標準。通過實施負責任的數據實踐，并使計算機視覺社區能夠測試其模型的偏見，FHIBE 可以幫助推動更具包容性和可信賴的 AI 系統的發展。