構建你能信任的AI系統

Building AI systems you can trust

構建你能信任的AI系統

https://www.gi-de.com/en/spotlight/trends-insights/building-ai-systems-you-can-trust

本文探討了如何構建可信的AI系統，提出了五個關鍵原則：

1) 信任需從系統底層構建，而非假設，包括公平性、魯棒性測試等；

2) 可信性是多維度且依賴于上下文的；

3) 信任是動態的，需持續監測和評估；

4) 量化可信性有助于治理；

5) 創建信任需要跨學科團隊合作。強調將可信性作為基礎層構建AI系統，可轉化為競爭優勢，幫助組織在AI經濟中脫穎而出。

2022年，富國銀行（Wells Fargo）因其信用評估算法被發現對黑人和拉丁裔申請人系統性地分配更高的風險分數而受到審查，與財務背景相似的白人申請人相比，這種情況更為突出。1 這一案例突顯了組織在匆忙部署AI系統時面臨的最大挑戰之一：AI真的可以被信任嗎？

在富國銀行的案例中，這并不是惡意設計的問題；相反，該AI只是從反映了數十年歧視性實踐的歷史借貸模式中學習，然后大規模地延續了這些模式。但是，如果要在銀行和金融、身份驗證以及公共基礎設施等安全關鍵領域成功實施AI，此類偏見是不可接受的。除了潛在的監管罰款外，此類事件還會對客戶關系造成不可修復的損害，并侵蝕組織長期成功所依賴的信任。

新的法規，例如歐盟AI法案，對于不合規行為可處以高達3500萬歐元或全球年度收入7%的罰款，2 被引入以幫助組織實現AI合規，并為安全且可靠地部署AI系統設立護欄。然而，僅從合規角度看待安全AI會錯失一個更大的機會。

用可信AI應對AI威脅

“消費者、利益相關者和監管機構越來越要求像AI這樣的技術提供更大的透明度和問責制，”Veridos的AI負責人Letizia Bordoli表示。“這特別具有挑戰性，因為AI系統往往作為黑箱運行，具有復雜的依賴關系，并在新環境中表現出不可預測的行為。因此，組織有責任以可信的方式部署AI，尤其是在那些可能顯著影響人們生活的應用中。”

許多組織面臨的一個問題是：究竟如何構建值得信任的AI系統？以及，如何可靠地評估、量化并將對AI系統的信任嵌入到開發過程中？

什么是可信AI？

組織必須采取的第一步是理解可信AI究竟意味著什么。為了支持這一點，在歐洲委員會人工智能高級別專家組的推動下，AI社區確立了七項原則，這些原則作為可信且符合倫理的AI的通用定義。

這些原則成為了諸如歐盟AI法案等框架的基礎，包括人類能動性和監督；技術魯棒性和安全性；隱私和數據治理；透明度；多樣性、非歧視和公平性；社會和環境福祉；以及問責制。

然而，這些原則往往仍然是抽象的，為實際應用提供了很少的指導。組織需要一個框架，將這些高層原則轉化為可衡量的實踐，這些實踐可以嵌入到開發過程和組織文化中。

可信AI的基礎

這只是Veridos與紐倫堡-埃爾蘭根弗里德里希-亞歷山大大學（Friedrich-Alexander University of Erlangen-Nuremberg）的專家合作，開發一個全面的、基于度量的框架來評估和量化AI可信性的原因之一。以下是該研究中的五個關鍵要點：

1. 信任必須被設計出來，而不是被假設 許多組織會等待信任問題出現——通過丑聞、審計失敗或監管行動——然后才做出反應。這是錯誤的方法。可信性必須從底層開始構建到系統中，使用與已知風險相關的特定評估方法。這些方法可以包括：

• 群體公平性度量，這些度量通過評估AI結果是否在人口統計群體（例如年齡、性別、種族）之間公平分布，來識別并消除隱藏的歧視。

• 顯著性圖魯棒性測試（這些測試檢查當輸入略微變化時，AI解釋是否保持一致），以驗證AI決策過程的可靠性，確保長期信任。

• 成員推斷測試（這些測試檢查攻擊者是否能夠逆向工程模型來確定使用了哪些數據訓練AI），通過模擬攻擊者是否能夠確定特定數據點是否被用于模型訓練，來檢測隱私漏洞，從而揭示潛在的數據泄露風險和隱私保護不足的問題。

2. 可信性是多維度的且依賴于上下文 不存在通用的可信AI度量。最重要的維度完全取決于所涉及的應用和風險。高風險系統（如身份驗證）可能將魯棒性和問責制置于首位，而面向消費者的應用可能強調透明度和人類監督，以維持用戶信心。

3. 信任不是靜態的——它可能隨時間變化 大多數AI治理框架錯誤地將評估視為一次性任務。但是AI系統在持續演化：模型發生漂移，對手開發新型攻擊方法，運營環境發生變化。監測和持續評估必須成為AI運營的標準部分，就像云服務的正常運行時間監測一樣。

4. 量化能夠實現治理 通過將公平性和隱私等原則轉化為量化指標，可信性變得可審計且可問責。這為有意義的AI風險管理、合規自動化以及提供對AI系統可信性實時可見性的內部治理儀表板打開了大門。

5. 創造信心需要跨學科團隊 沒有單一團隊能夠“擁有”信任。AI工程師、UX研究人員、倫理學者、安全專家以及廣泛的專業人員必須在整個開發生命周期中協作，以確保可信性貫穿系統嵌入。

將信任轉化為競爭優勢采用這些原則將幫助組織設計和構建將信任嵌入作為基礎層的可信AI系統。這種主動方法將幫助它們與那些在信任失敗發生后才做出反應的組織區分開來。 在一個將越來越以AI為基礎的未來經濟中，將會有壓力要求跟上每一個發展，以保持領先。與其盡快部署最先進的AI系統，真正的領導者將是那些花時間可持續地構建利益相關者可以信任的系統的人。

關鍵要點

? 隨著AI采用的加速，組織迫切需要框架，以便構建和評估可信系統。

? 信任必須被設計出來，而不是被假設。然而，不存在“可信AI”的通用定義。

? 采取主動的合規方法可以創造競爭優勢。構建可信AI系統的組織將使自己與競爭對手區分開來。

https://www.gi-de.com/en/spotlight/trends-insights/building-ai-systems-you-can-trust