致命的偏差：當“優化目標”成為問題的根源

剛才我們已經說了預測式AI在實際應用中表現不佳的兩個層次的原因，分別是，“可預測的局限”和“隱藏的陷阱”。第三個層次的錯誤，可以稱為“致命的偏差”：這是最值得警惕的一類問題，因為它直接源于AI優化目標的設定。這是很多人都不知道的一個點，值得你仔細聽聽。

AI模型訓練的核心，是首先要人為設定一個明確的優化目標。這個目標的確立，是整個訓練過程的“指揮棒”。目標設定完，就可以開始啟動模型的訓練。模型的訓練，就是一個不斷調整模型內部參數、以求最優化該目標的過程。舉個圖像分類的例子：我們的目標可以是在平均意義上，讓模型的預測結果與真實標簽之間的差距越小越好。那么，參數調整的全部意義，就在于如何讓這個差距不斷縮小，直至最優。然而，關鍵在于，這個優化目標是由AI的設計者——“人”——來定義的。這意味著，如果最初設定的目標本身存在偏差或不夠全面，那么無論模型訓練得多么“完美”，最終也無法達到我們預期的理想效果，甚至會產生嚴重的問題。與優化目標相關的一個錯誤，被稱為代理指標的謬誤（The Proxy Problem）。

這個問題的本質是：我們希望AI去優化一個至關重要的“真實指標”，但由于現實的限制，開發者選擇了一個更容易量化的“代理指標”（Proxy）來作為替代。問題在于，許多“代理指標”雖然表面看似合理，但當AI將其作為唯一的優化目標時，模型的最終表現往往會與我們的初衷背道而馳，甚至引發嚴重問題

一個例子是關于AI如何預測誰應獲得更優先的醫療護理。自2010年《平價醫療法案》在美國推行以來，醫院為了控制成本，普遍采用AI技術來識別“高風險”患者，并為他們提供預防性護理，以避免未來產生更昂貴的治療費用。數十種AI模型因此誕生，其中就包括了Optum公司的Impact Pro模型。然而，一項針對該模型的研究揭示了一個驚人的結論：在健康狀況完全相同的情況下，該模型系統性地認為，白人患者比黑人患者具有更高的患病風險。這是一個極其反常的現象。從醫生的專業判斷來看，高風險病人通常是那些病情危重、合并癥多、需要更密切治療和干預的個體，這完全取決于其生理和病理狀況，而絕非膚色。這意味著，Optum的AI模型會使白人比同等健康狀況的黑人更容易被納入優先護理項目，從而享有本不應有的資源傾斜。那么，這個旨在預測健康風險的AI，為何會得出如此帶有偏見的結論呢？

Optum的設計者在訓練這個AI模型的時候，要準備數據集。這個數據集中的每一個樣本，應該包括某個患者的所有信息，以及該患者的“真實健康風險”。但研究者很快發現，“真實健康風險”這個標簽很難收集。我們如何知道一個病人的真實健康風險呢？是死亡率？是住院時間？還是康復所需的時間？可能都不準，這需要臨床專家的復雜評估、患者的主觀反饋以及長期的健康跟蹤。這個數據收集成本極高且難以標準化。為此，該AI的設計者找到了一個看似巧妙的代理指標：患者入院期間總的醫療費用。這個邏輯表面上頗具說服力：一個病人的醫療花費越高，其病情更嚴重，入院時的風險也越高，而且“醫療花費”這個量化數據唾手可得。然而，正是這個代理指標，成了問題的根源。因為，一個病人的醫療花費高，不一定是其健康風險大，很可能是因為他有錢或者有保險。在美國，這一部分人是白人的比例更高。

當AI被指令去優化“醫療花費”這個代理指標時，它就會從輸入的病人信息中，尋找一切能夠幫助其更好地預測“醫療花費”的相關信號，于是它發現了“膚色”這個特征：如果一個人是白人，那么其醫療花費更高；如果是黑人，那么其醫療花費更低。所以出現的結果是，那些在過去已經享受到更多醫療資源的白人患者，由于歷史花費更高，被AI標記為“更高風險”，從而在未來分配到更多的預防性護理資源。而那些未能獲得足夠醫療資源的人（通常是黑人患者），因為歷史花費更低，被AI標記為“更低風險”，從而在未來進一步被剝奪了本應屬于他們的資源。

這完美地詮釋了代理指標的謬誤：AI被要求去預測一個重要但難以衡量的真實目標（“真實的醫療需求”），開發者卻選擇了一個容易衡量但存在根本性缺陷的代理指標（“實際的醫療花費”）作為替代，卻未能充分考慮到代理指標與真實目標之間的差距。AI精準地優化了錯誤的目標，最終導致了系統性的不公。可能有人會想，如果AI的設計者不把“膚色”作為模型的輸入，是否就能避免這種偏見呢？答案是否定的。即使模型的輸入數據中完全不包含膚色或種族這類敏感信息，由于這個“醫療花費”代理指標的設定，模型依然會“學會”這種偏見，只不過更加隱晦。比如，AI會發現，像郵政編碼、保險類型等看似中立的特征，都是預測“高花費”的絕佳線索。而這些特征，在美國社會中，恰恰又與種族分布高度相關。

除了“代理指標謬誤”這種無意的偏差，還存在一種更值得警惕的情形：設計者為了自身利益，有意將目標函數設定為服務于特定目的，即便這會犧牲用戶或社會的公平性。更關鍵的是，絕大多數模型的開發者并不會公開其目標函數的具體設計。這種不透明性制造了一個危險的漏洞：開發者可以利用復雜的算法和海量數據作為掩護，讓AI悄無聲息地為其謀利。我們所熟知的“大數據殺熟”，正是這種意圖的體現。提到了這樣一個例子。2013年，好事達保險公司嘗試使用預測式AI來調整汽車保險費率。其明確設定的目標函數是：在不流失過多客戶的前提下，最大化利潤。

為達成此目標，模型需要解決的實質問題是：如何識別哪些客戶對價格上漲不敏感？

模型被輸入大量客戶數據，包括年齡、住址、駕駛記錄、信用評分等，經過訓練后輸出每位客戶的價格敏感度。于是模型生成了一份“可榨取客戶名單”，其中62歲以上老年人的比例異常之高。模型發現，老年人更少貨比三家，更換保險公司的傾向更低。因此，該人群被系統性地給予更少的折扣和更高的保費漲幅。這種操作的本質是歧視。雖然保險公司并未主觀宣稱“要歧視老年人”，但其設定的“利潤最大化”目標函數與數據的結合，必然導向了這一歧視性結果。更值得警惕的是，開發者常以“算法復雜性”為擋箭牌，聲稱歧視性結果是“數據驅動的客觀最優解”，以此規避道德和法律責任。當AI被應用于金融、醫療、司法等攸關民生的領域時，這種對目標函數的隱蔽操控，足以使其淪為高效、精準且冷酷的剝削工具。所以我們最需要警惕的，或許并非科幻作品中聳人聽聞的“機器人覺醒”，而是那些隱藏在冰冷數據和“客觀”算法之下的、由錯誤的代理指標和商業利益所驅動的、無聲無息卻影響深遠的系統性偏見與歧視。

所以，對于剛才我們說過的，預測式AI的這些問題，我用一句話來總結：技術之上應有理性，理性之上應有良知。