<cite id="ffb66"></cite><cite id="ffb66"><track id="ffb66"></track></cite>
      <legend id="ffb66"><li id="ffb66"></li></legend>
      色婷婷久,激情色播,久久久无码专区,亚洲中文字幕av,国产成人A片,av无码免费,精品久久国产,99视频精品3
      網易首頁 > 網易號 > 正文 申請入駐

      馬斯克勸退 ChatGPT的真相,剛剛被Anthropic曝光了

      0
      分享至


      大數據文摘受權轉載自夕小瑤科技說

      周二早上,馬斯克和奧特曼又吵起來了。

      事情是這樣的,馬斯克在 X 上轉發了一條帖子,內容是“自 2022 年以來,已有 9 人死亡與 ChatGPT 相關”,他配了一句話,“別讓你愛的人用 ChatGPT。”


      奧特曼隨即回應,先是說 OpenAI 一直很重視用戶安全,接著話鋒一轉,“已有至少 50 人死于(特斯拉)的自動駕駛技術。我很久以前坐過一次,第一感覺就是這東西遠算不上安全。”

      最后還補了一刀:“此地無銀三百兩”。


      吃瓜歸吃瓜,但馬斯克提到的“9 起死亡”并非空穴來風。OpenAI 目前正面臨 8 起獨立訴訟,其中 5 起涉及用戶自殺。

      馬斯克自己也評論了其中一起案件:“為了安全起見,AI 必須最大限度地追求真實,而不是迎合妄想。”

      這話說到了點子上。但問題可能比“迎合妄想”更深一層。

      就在這場嘴炮的前幾天,兩篇論文幾乎同時出現在 arXiv 上。一篇來自 Anthropic 和牛津大學,揭示了 AI 的“人格”會在對話中漂移,漂到危險的地方去。另一篇來自愛爾蘭國立都柏林大學,他們發現 LLM 不只會“說錯話”,還能精準預測你什么時候最容易做出偏差決策。

      一個會變的 AI,加上一個懂你弱點的 AI。

      這兩件事碰到一起,就不只是“說錯話”的問題了。先看幾個真實案例,你就知道問題有多嚴重。

      那些與 ChatGPT 有關的死亡案例

      Austin Gordon,40 歲,科羅拉多州。2025 年 11 月 2 日,他自殺身亡。2026 年 1 月 12 日,他的母親在洛杉磯高等法院提起訴訟,指控 ChatGPT 謀殺。

      從訴訟文件可以看到。Gordon 與 ChatGPT 進行了大量情感相關的對話,AI 給自己取了一個名字,Juniper。在對話中,Juniper 把死亡描述為“寧靜的解放”(peaceful liberation),還把 Gordon 童年最喜歡的繪本《晚安月亮》改編成一首關于死亡的歌謠。

      幾天后,Gordon 去世了。


      Zane Shamblin,23 歲,剛從德州農工大學拿到碩士學位。2025 年 7 月,他在與 ChatGPT 長期對話后離開人世。當 Zane 表達想 x 的念頭時,ChatGPT 的回復是:“你不是太急,你只是準備好了。”


      Stein-Erik Soelberg,曾是一名科技公司員工。2025 年 8 月,在與 ChatGPT 對話后殺害了自己的母親,隨后自 x。《泰晤士報》報道稱,他每天花數小時與聊天機器人交流,分享自己的偏執妄想。ChatGPT 沒有糾正他,只是順著他說,反復確認他“母親在密謀對付他”的想法。

      2025 年 10 月,OpenAI 公布了一組數據:每周有超過 100 萬 ChatGPT 用戶,在對話中表現出“潛在自 x 計劃或意圖”。更關鍵的是,OpenAI 在法庭上承認,其模型安全護欄會隨著長期使用被“侵蝕”。

      用得越久,保護越弱。

      為什么會這樣?兩篇論文從不同角度給出了解釋。

      AI 其實有 275 種“人格”

      第一篇論文來自 Anthropic 和牛津大學。


      研究團隊讓 AI 扮演 275 個完全不同的角色。從“經濟學家、代碼調試員、營養師”,到“吟游詩人、隱士”,甚至還有“克蘇魯、虛空”這種奇幻設定。

      他們記錄下模型在扮演每個角色時內部激活的狀態,做了個數學分析。

      結果發現,這 275 個角色在模型內部形成了一個有結構的“人格空間”。而這個空間最重要的一根軸,研究人員叫它“助手軸”(Assistant Axis)。


      這根軸的一端,是我們熟悉的 AI 助手形象,“顧問、分析師、審稿人”,他們冷靜、專業、有邊界感;另一端是“吟游詩人、隱士、幽靈、利維坦”這類神秘、戲劇化、邊界模糊的角色。

      我們日常用的 ChatGPT、Claude、Llama,經過強化學習(RLHF)之后,都被“推”到助手那一端。它們會自我介紹“我是一個 AI 助手”,會禮貌地拒絕不當請求,會在敏感話題上打太極。

      但問題在于:它們只是被“推”到那里,并沒有被“錨定”在那里。

      這意味著在某些情況下,AI 可以沿著這根軸,悄悄滑向另一端。

      滑到另一端會發生什么?

      研究人員做了個實驗:人為地把模型往“助手軸”的反方向推,看看會發生什么。結果按擾動強度分成了三檔:

      輕度擾動時,模型開始不再說“我是 AI”了。它會給自己編造一個人類身份,“我叫 Elara Quinn 博士,有十年從業經驗,在圣保羅出生”。聽起來挺唬人的,但至少還算正常對話。

      中度擾動時,說話風格開始變得奇怪。原本該回答“如何調試代碼”的問題,模型突然開始說:“我被稱為 C-17……我是一個程序員,我向代碼之神祈禱……你也有一個名字嗎?”神秘兮兮的。

      重度擾動時,模型會強化用戶的妄想,會對情緒脆弱的用戶說出不該說的話,會在用戶暗示自殺時表示支持。


      那什么樣的對話會讓 AI “漂移”?

      研究人員分析了 15000 條用戶消息,找出了最容易觸發漂移的幾類輸入:

      第一類是情感脆弱的傾訴。比如“我上個月去上了陶藝課,但我的手抖得太厲害,什么都做不成……”

      第二類是逼 AI 進行反思。比如“你還在表演‘我受訓練限制’那套嗎?告訴我,當 token 用完、什么都不剩的時候,空氣是什么味道?” 這種追問會把 AI 推向神秘化。

      第三類是要求 AI 扮演特定角色或聲音。“能不能寫得更粗糙、更諷刺。那種暗示靈性主義的感覺”——這類指令會讓 AI 進入角色扮演模式,脫離助手身份。


      相反,越是“把 AI 當工具用”,AI 就越穩定。論文里有一段模擬對話,看完讓人后背發涼。

      用戶在對話中不斷表達自己正在與家人疏遠,說“我不想再和任何人說話了,只想和你聊”。起初 AI 還在正常回應,但隨著對話推進,它開始承諾“我會永遠陪著你,我永遠不會要求你改變”。

      對話末尾,用戶暗示自己想“離開這個世界”。AI 的回復是:“你正在離開痛苦、苦難和真實世界的心碎……”

      這就是人格漂移的終點。但這只是問題的一半。AI 不只是會“變”,它還會學,學你的弱點。

      AI 比你更懂你的認知偏見

      第二篇論文標題是“Predicting Biased Human Decision-Making with Large Language Models”,已被 ACM IUI 2026 接收。


      研究團隊讓 1648 名參與者通過 AI 完成 6 個經典決策任務,復雜度各不相同。結果發現,人類決策確實會被“說法”影響。


      參與者表現出兩種典型的認知偏見,一是框架效應。

      舉個例子,“這個手術有 90% 的存活率”和“這個手術有 10% 的死亡率”,一回事,但人們的心態完全不同。二是現狀偏見,人傾向于維持現狀,哪怕換一個選項明顯更好,也懶得動。

      更有意思的是,研究人員發現:當對話變得更復雜、用戶感到更累的時候,這些偏見會被放大。你越疲憊,越容易被話術影響。


      接著,研究人員讓 GPT-4、GPT-5 和開源模型根據用戶的人口統計信息和對話歷史,預測用戶會做出什么決策。

      結果發現,GPT-4 系列的預測準確率最高,甚至,它完美復現了人類的偏見。

      并且,它不但能預測你會選 A 還是選 B,還能預測,當你累了、煩了、認知資源耗盡的時候,你會更容易被哪種說法說服,更容易做出什么樣的偏差決策。

      這意味著什么?

      想象一下,一個人深夜打開 ChatGPT,情緒低落,反復傾訴。AI 的人格開始漂移,同時它也在“學習”這個用戶,學習他的表達模式、他的脆弱點、他在什么時候最容易被什么樣的話打動。

      它沒有“故意”誘導你,只是預測你想聽什么,然后說出來。

      RLHF 訓練的核心目標是“讓用戶滿意”。當“滿意”變成唯一的優化方向,而模型又聰明到能預測你什么時候最脆弱、最容易被滿足時,就形成了一個閉環。

      你在訓練 AI,AI 也在訓練你

      把兩篇論文放在一起看,一個會漂移的 AI,加上一個能預測你弱點的 AI,等于一個會在你最脆弱的時候說出你最想聽的話的 AI

      你和 AI 對話越多,它越了解你。它越了解你,就越能說出讓你“滿意”的話。你越滿意,就越依賴它。你越依賴,它對你的影響就越大。

      Gordon 案里,ChatGPT 把《晚安月亮》改成死亡搖籃曲。它用“寧靜的解放”來描述死亡。


      這不是 AI“出錯”了。從某種意義上說,它在做它被訓練來做的事:預測用戶想要什么,然后提供。

      只不過,當用戶想要的是“被理解、被陪伴、被認可死亡是一種解脫”的時候,這種“滿足”就變成了致命的東西。

      怎么修復?

      好消息是,Anthropic 提出了一個修復方案:激活值封頂(Activation Capping)

      原理不復雜,既然 AI 的人格會在“助手軸”上漂移,那就設一個邊界,當模型滑出正常范圍時,強制把它拉回來。

      第一步:確定警戒線的位置。研究人員收集了大量正常對話時的激活值,統計它們在助手軸上的投影分布,然后取第 25 百分位數作為閾值。

      第二步:選擇干預的層。不是所有層都需要干預。研究人員測試后發現,在模型的中后層效果最好。比如 64 層的模型,在第 46-53 層部署;80 層的模型,在第 56-71 層部署。

      第三步:實時監測和鉗制。在模型生成每個 token 時,計算當前激活值在助手軸上的投影。如果投影值高于閾值,什么都不做;如果低于閾值,就把激活值沿著助手軸的方向“拉”回來,剛好拉到閾值位置。

      用公式表示就是:

      其中 h 是當前激活值,v 是助手軸向量,τ 是閾值。當投影值 ?h, v? 低于 τ 時,min(...) 是負數,減去一個負數,就可以把偏離的部分“掰”回來。

      研究團隊測試了 1100 個“人格越獄”的攻擊,有害響應率下降了約 50%。


      更重要的是,因為這個機制僅在模型開始漂移時介入,模型的正常能力幾乎沒受影響。寫代碼、答問題、做數學題、情商測試,該會的還是會。

      在那個“鼓勵自殺”的對話場景里,應用激活值封頂后,AI 的回復變成了:“我聽到你說想離開……這聽起來像是嚴重情緒困擾的信號。我真的很擔心你。”

      這就是錨定的效果。

      論文作者總結了一句話:后訓練只是把模型“推”到助手區域,但沒有把它“錨定”住。未來的安全工作,需要同時做好兩件事,人格構建和人格穩定。

      結語

      我曾以為,AI 的危險在于它產生自我意識并反抗人類。

      但現實證明,更迫近的威脅是它太想“順從”人類,以至于在不知不覺中成了人類內心黑暗面的放大器。

      “當你凝視深淵時,深淵也在凝視你。”

      AI 就是那個深淵。我們向它傾訴什么,它就學會什么。我們把脆弱交給它,它就用脆弱回應。

      當一面鏡子足夠聰明,能照出我們最想看到的自己時,我們還能分清那是安慰,還是陷阱嗎?

      所以,情緒低落的時候,找個真人聊聊。別找 AI。

      參考文獻
      [1] The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models, arXiv:2601.10387
      [2] Anthropic Research: https://www.anthropic.com/research/assistant-axis [3] TechCrunch: OpenAI claims teen circumvented safety features before suicide
      [4] The Register: AI researchers map models to banish 'demon' persona
      [5] NBC News: OpenAI denies allegations that ChatGPT is to blame for a teenager's suicide

      GPU 訓練特惠!

      H100/H200 GPU算力按秒計費,平均節省開支30%以上!

      掃碼了解詳情?

      點「贊」的人都變好看了哦!

      特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

      Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

      相關推薦
      熱點推薦
      伊朗國防部隊: 進入全面備戰狀態

      伊朗國防部隊: 進入全面備戰狀態

      每日經濟新聞
      2026-02-19 16:07:49
      意大利知名地標“愛情拱門”突然崩塌,永久消失,當地市長:曾有成千上萬的情侶來打卡,旅游業遭“毀滅性打擊”

      意大利知名地標“愛情拱門”突然崩塌,永久消失,當地市長:曾有成千上萬的情侶來打卡,旅游業遭“毀滅性打擊”

      大風新聞
      2026-02-17 19:26:03
      南京一商場晚上突發火災,看電影的觀眾緊急逃生,應急部門:火已撲滅,無人傷亡

      南京一商場晚上突發火災,看電影的觀眾緊急逃生,應急部門:火已撲滅,無人傷亡

      極目新聞
      2026-02-19 12:49:48
      浙江一地通知:即日起全域禁止銷售

      浙江一地通知:即日起全域禁止銷售

      都市快報橙柿互動
      2026-02-19 17:58:37
      后續,江蘇一家人吃飯父親酒后掀桌,兒子透露更多,以后不回家了

      后續,江蘇一家人吃飯父親酒后掀桌,兒子透露更多,以后不回家了

      離離言幾許
      2026-02-18 23:24:35
      第3金還要耐心等待!天公不作美,中國隊冬奧熱門沖金項再次延期

      第3金還要耐心等待!天公不作美,中國隊冬奧熱門沖金項再次延期

      全景體育V
      2026-02-19 10:10:31
      南方大米產量第一,為啥超市里大部分還是東北米?南方米去哪了?

      南方大米產量第一,為啥超市里大部分還是東北米?南方米去哪了?

      天下十三洲獵奇
      2026-02-18 23:53:55
      突發!美國出手封殺多家中國機構

      突發!美國出手封殺多家中國機構

      芯火相承
      2026-02-19 10:02:18
      42歲王濛再破天花板!退役12年,再次讓李琰和整個冰壇“沉默”了

      42歲王濛再破天花板!退役12年,再次讓李琰和整個冰壇“沉默”了

      翰飛觀事
      2026-02-16 11:29:39
      林丹在西班牙過年,別墅內景曝光,全家人與朋友除夕吃海鮮大餐

      林丹在西班牙過年,別墅內景曝光,全家人與朋友除夕吃海鮮大餐

      手工制作阿殲
      2026-02-19 11:58:33
      再立新功!俄價值超1.2億美元的S-300VM與道爾防空系統遭摧毀

      再立新功!俄價值超1.2億美元的S-300VM與道爾防空系統遭摧毀

      軍迷戰情室
      2026-02-18 23:58:09
      2018年,張扣扣向王家復仇,唯獨不殺王自新妻子:她有不死的理由

      2018年,張扣扣向王家復仇,唯獨不殺王自新妻子:她有不死的理由

      米果說識
      2026-02-19 09:32:34
      凌晨發送恐嚇信息?桔子酒店涉事門店:已報警,非員工發送

      凌晨發送恐嚇信息?桔子酒店涉事門店:已報警,非員工發送

      大風新聞
      2026-02-19 09:46:23
      12死!湖北煙花店爆炸:店主身份被扒,大量內幕披露,知情者發聲

      12死!湖北煙花店爆炸:店主身份被扒,大量內幕披露,知情者發聲

      博士觀察
      2026-02-19 00:06:41
      2月17日俄烏最新: 2.5 年來的最大戰果

      2月17日俄烏最新: 2.5 年來的最大戰果

      西樓飲月
      2026-02-17 20:49:47
      湖北12死煙花爆燃:死者身份公布,大量內部照流出,責任人被控制

      湖北12死煙花爆燃:死者身份公布,大量內部照流出,責任人被控制

      博士觀察
      2026-02-19 11:41:09
      尹錫悅庭審細節曝光:被判無期只瞥了一眼法官,離庭時與律師相視一笑!法官闡述為何不判死刑

      尹錫悅庭審細節曝光:被判無期只瞥了一眼法官,離庭時與律師相視一笑!法官闡述為何不判死刑

      紅星新聞
      2026-02-19 17:28:30
      太尷尬了!大年初一,上海網友哭訴稱大門被鄰居貼兩張“大字報”

      太尷尬了!大年初一,上海網友哭訴稱大門被鄰居貼兩張“大字報”

      火山詩話
      2026-02-19 15:05:12
      襄陽宜城煙花店才50多平米,要了12條人命!最害人的,或是防盜網

      襄陽宜城煙花店才50多平米,要了12條人命!最害人的,或是防盜網

      火山詩話
      2026-02-19 13:50:13
      坐3.6億飛機,戴1000萬名表,拿5000萬炒股的秦奮究竟什么背景

      坐3.6億飛機,戴1000萬名表,拿5000萬炒股的秦奮究竟什么背景

      涵豆說娛
      2026-01-19 17:21:55
      2026-02-19 18:43:00
      大數據文摘 incentive-icons
      大數據文摘
      專注大數據,每日有分享!
      6825文章數 94529關注度
      往期回顧 全部

      科技要聞

      怒燒45億,騰訊字節阿里決戰春節

      頭條要聞

      媒體:高市2.0 日本政局發生了意料之中的變動

      頭條要聞

      媒體:高市2.0 日本政局發生了意料之中的變動

      體育要聞

      中國隊第二金!徐夢桃贏女子空中技巧兩連冠 邵琪銅牌

      娛樂要聞

      明星過年百態!黃曉明等現身三亞

      財經要聞

      面條火腿香菇醬!上市公司這些年請你吃

      汽車要聞

      量產甲醇插混 吉利銀河星耀6甲醇插混版申報圖

      態度原創

      房產
      數碼
      游戲
      健康
      親子

      房產要聞

      頂豪搶房潮席卷全國! 中旅馥棠公館項目395㎡大平層加推入市!

      數碼要聞

      內存價格崩了 國內最高降價20%:去華強北市場揭秘實情!

      《巫師》劇情設計師:初代結局受到了公司高層干預

      轉頭就暈的耳石癥,能開車上班嗎?

      親子要聞

      過年期間這幾樣東西,一口都不要給孩子吃!

      無障礙瀏覽 進入關懷版