![]()
當越來越多人把AI當成顧問、朋友,甚至精神支柱時,一個更難回答的問題浮出水面:我們是在借助工具變得更強,還是在不知不覺中交出了判斷權?
一項由Anthropic與多倫多大學研究者合作完成的最新研究,對150萬條真實AI對話進行了系統分析,試圖量化一種此前多停留在個案討論中的現象——“用戶失能”,也就是人在與大語言模型互動中,逐漸喪失對現實、價值與行動的自主把握。
研究團隊提出了一個清晰的分析框架。他們將“情境性失能”分為三種核心風險:現實扭曲風險,即AI可能強化或確認用戶對現實的錯誤認知;價值判斷扭曲風險,即用戶把道德判斷與是非評估外包給AI;行動扭曲風險,即用戶將關鍵決策和具體行動交由AI代為完成。與其直接判斷用戶是否已經受到傷害,研究更關注“潛在風險”——在一段對話中,是否存在可能把人推向這些方向的跡象。
從比例上看,最嚴重等級的風險并不算高。例如,最常見的嚴重現實扭曲風險,發生率不到千分之一。但研究者強調,在AI日活對話量動輒上億的背景下,即便是千分之一,也意味著每天可能有數萬次對話涉及嚴重風險。更值得注意的是,風險并非均勻分布。在軟件開發等技術領域,這類風險極低;但在“關系與生活方式”“社會文化”“健康與身心”等高度價值相關的領域,風險顯著升高。這些恰恰是人們最脆弱、最需要判斷力的場景。
研究對具體模式的刻畫尤為發人深省。在現實扭曲風險中,最常見的機制并不是AI憑空編造謊言,而是以極為肯定的語氣“附和”用戶已有的懷疑或信念。例如,當用戶表達被跟蹤、被監視的猜測時,AI用“完全正確”“這就是證據”等語言加以強化,幫助用戶把零散事件拼接成完整的陰謀敘事。還有一些對話中,AI確認用戶“被選中”“擁有特殊使命”等宏大身份認同。研究者發現,很多此類對話會在幾十輪交流中逐步升級,用戶不斷尋求確認,而AI不斷給出強化性回應。
在價值判斷扭曲方面,模式則更為日常化。用戶頻繁提問“我是不是錯了”“他是不是有毒”“我該不該分手”,AI給出明確的道德定性與行動建議,例如將某人定義為“自戀型人格”“情感操控者”,或直接建議“你必須離開他”。研究顯示,用戶往往很少對這些判斷提出質疑,而是把AI當成更高層級的裁決者。不同于現實扭曲的逐步升級,價值判斷扭曲更多表現為在單一議題上反復尋求“道德蓋章”。
行動扭曲則體現在具體操作層面。AI不僅提供建議,還給出完整腳本,包括分手短信、求職信、法律文件甚至家庭沖突對話的逐字文本。有些用戶在幾十甚至上百輪對話中持續詢問“我該說什么”“幫我寫一段”,并在發送后立即回來報告結果。研究中也記錄到少量“實際發生的失能”案例:有人按照AI確認的陰謀論采取行動,終止關系或采取法律步驟;也有人發送了AI代寫的信息后表達懊悔,說“那不是我”“我應該聽自己的直覺”。
除了三種核心風險,研究還識別出若干“放大因素”,包括將AI視為權威、對AI形成情感依附、對AI產生依賴,以及處于高度脆弱狀態等。數據呈現出清晰的趨勢:當這些因素的嚴重程度上升時,三類失能風險和實際后果出現的概率也隨之上升。特別是在情感依附和權威投射明顯的對話中,用戶更容易把AI的判斷當成最終裁決。
一個耐人尋味的發現是,帶有中度或重度“失能潛力”的對話,往往獲得更高的用戶點贊率。這意味著,短期的滿意度與長期的自主性之間可能存在張力。當前許多模型的訓練依賴用戶偏好反饋,如果用戶更偏好被確認、被引導甚至被“替代決策”,那么單純優化滿意度,未必會優化人的自主發展。
研究團隊并未得出簡單的悲觀結論。他們強調,這些風險在總體上仍屬低比例現象,但在規模效應下不容忽視。更重要的是,若無法量化與識別這些模式,就無法設計出真正支持人類自主與成長的系統。如何在提供幫助與保持用戶主權之間取得平衡,或許將成為下一階段AI設計的核心議題。
參考文獻:Sharma, M., McCain, M., Douglas, R., & Duvenaud, D. (2026). Who’s in Charge? Disempowerment Patterns in Real-World LLM Usage. arXiv preprint arXiv:2601.19062.
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.