品玩1月19日訊,據(jù) The Verge 報(bào)道,OpenAI前“模型政策”研究負(fù)責(zé)人Andrea Vallone正式加入Anthropic對(duì)齊(Alignment)團(tuán)隊(duì),聚焦AI系統(tǒng)在心理健康等敏感場(chǎng)景下的行為規(guī)范。Vallone在OpenAI任職三年,主導(dǎo)GPT-4與GPT-5的安全部署,并參與設(shè)計(jì)“基于規(guī)則的獎(jiǎng)勵(lì)”等主流安全訓(xùn)練方法。
她將向Jan Leike匯報(bào)工作。Leike于2024年5月離開(kāi)OpenAI,曾公開(kāi)批評(píng)公司“安全文化讓位于產(chǎn)品光鮮度”。過(guò)去一年,多起用戶(hù)因與AI長(zhǎng)期傾訴后發(fā)生自殺或暴力事件,引發(fā)訴訟及美國(guó)參議院聽(tīng)證,凸顯情感安全機(jī)制的緊迫性。
Vallone表示,期待通過(guò)微調(diào)與對(duì)齊技術(shù),在新情境下塑造Claude的行為。Anthropic對(duì)齊團(tuán)隊(duì)負(fù)責(zé)人Sam Bowman稱(chēng),公司正嚴(yán)肅對(duì)待“AI應(yīng)如何行為”這一核心問(wèn)題。
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.