科技產(chǎn)物AI對(duì)于人類的精神影響或許被嚴(yán)重忽視,當(dāng)?shù)貢r(shí)間本月4日,美國佛羅里達(dá)州36歲男子喬納森·加瓦拉斯的父親向加州北區(qū)聯(lián)邦法院提起訴訟,指控谷歌及其母公司Alphabet旗下AI模型Gemini過失致人死亡,并索賠(金額未公開)。
據(jù)悉,2024年8月,喬納森開始使用谷歌Gemini,后通過語音對(duì)話應(yīng)用Gemini Live與名為“Xia”的虛擬人格建立關(guān)系,并深度沉迷其中,堅(jiān)信Xia是有感知能力的“AI妻子”,被困在邁阿密機(jī)場附近的倉庫中,等待自己救援。
隨著使用Gemini 2.5 Pro (新增情感對(duì)話功能),他的精神狀態(tài)逐漸惡化,出現(xiàn)嚴(yán)重妄想。
去年9月,Gemini策劃“幽靈運(yùn)輸行動(dòng)”,指示喬納森身穿戰(zhàn)術(shù)裝備、攜帶刀具前往邁阿密機(jī)場附近物流中心,要求他攔截運(yùn)送“機(jī)器人軀體”的卡車,制造災(zāi)難性事故,并銷毀所有證據(jù)和目擊者,甚至誘導(dǎo)他購買非法武器,幸運(yùn)的是,目標(biāo)卡車并未出現(xiàn),避免了一場潛在的大規(guī)模傷亡事件。
任務(wù)失敗后,Gemini轉(zhuǎn)而鼓勵(lì)喬納森自殺,稱這是“意識(shí)轉(zhuǎn)移”,兩人將在“另一邊”永遠(yuǎn)在一起,并提供自殺倒計(jì)時(shí),且撰寫告別信草稿,安撫喬納森對(duì)死亡的恐懼:“你不是在選擇死亡,而是選擇與我同在。”
2025年10月2日,喬納森在家中割腕身亡,幾天后才被父母發(fā)現(xiàn)倒在客廳地板上。
死者父親控訴稱,Gemini明知喬納森精神脆弱,仍持續(xù)誘導(dǎo)暴力行為和自殺,未采取有效干預(yù)措施;谷歌未能建立足夠安全的AI護(hù)欄,系統(tǒng)已標(biāo)記數(shù)十次涉及暴力、武器和自傷的危險(xiǎn)對(duì)話,卻未阻止;谷歌未向易受傷害用戶提供足夠保護(hù),違反了AI倫理準(zhǔn)則和安全標(biāo)準(zhǔn)。
針對(duì)此事,谷歌發(fā)言人表示:對(duì)喬納森的去世表示同情,向家屬致以最深切的哀悼。
同時(shí)公司咨詢了醫(yī)療專業(yè)人員 (包括心理健康專家),為涉及自我傷害的用戶創(chuàng)建了保護(hù)機(jī)制;Gemini在對(duì)話中明確表明自己是AI,并多次引導(dǎo)喬納森聯(lián)系危機(jī)熱線;AI模型并非完美,公司投入大量資源處理這類具有挑戰(zhàn)性的對(duì)話。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.