北京
（AI云資訊消息）過去一年，人工智能行業頗具爭議的問題是，當用戶在與聊天機器人的對話中表現出心理健康問題的跡象時，該如何應對。負責此類安全研究的OpenAI高管安德烈亞·瓦隆內（Andrea Vallone）現已離職加入Anthropic公司。
近日，瓦隆內在社交平臺領英發文中表示："過去一年中，我領導著OpenAI針對一個幾乎無先例可循問題的研究：當模型面對情感過度依賴跡象或心理健康困擾的早期征兆時，應如何回應？"
瓦隆內在OpenAI任職三年期間，組建了模型策略研究團隊，專注于GPT-4、OpenAI推理模型及GPT-5的最佳部署方案，并為基于規則獎勵機制等AI行業主流安全技術開發訓練流程。如今她已加入Anthropic的對齊團隊，該團隊致力于研判人工智能模型的最大風險及應對策略。
瓦隆內將向楊·萊克（Jan Leike）匯報工作，而楊·萊克恰是前OpenAI安全研究負責人，于2024年5月離職。楊·萊克辭職原因是反對OpenAI管理層重視光鮮的產品開發勝于安全文化。
過去一年來，領先的人工智能初創企業因用戶心理健康問題引發的爭議日益加劇。當用戶向AI聊天機器人傾訴時，心理困境可能進一步惡化，尤其在長時間對話中安全護欄往往失效。多個受害家庭已提起訴訟，安全研究人員正承擔著解決這一嚴峻問題的責任。
對齊團隊負責人薩姆·鮑曼（Sam Bowman）在領英發文中表示，他“為Anthropic嚴肅地對待如何規范AI系統行為這一難題感到自豪。”
1月15日，瓦隆內在領英發文中表示："我渴望在Anthropic繼續我的研究，專注于通過對齊與微調技術，塑造Claude在新情境下的行為模式。"
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
