整理 | 鄭麗媛
出品 | CSDN(ID:CSDNnews)
如果有人告訴你,AI 可以幫你實現 Inbox Zero,你可能會覺得這是效率神器;但如果實現方式是——直接刪光你的郵箱,你還會覺得酷嗎?
上周末,在硅谷技術圈迅速走紅的開源 AI Agent 項目 OpenClaw,就上演了這樣一出真實版“自動化翻車現場”。這次被“誤傷”的,還不是普通用戶,而是 Meta 超級智能實驗室的 AI 安全與對齊負責人 Summer Yue。
是的,一個專門負責“AI 對齊”的人,卻被 AI Agent 失控狠狠教育了一課。
![]()
![]()
硅谷新寵:會“自己干活”的 AI Agent
OpenClaw 由 Peter Steinberger 開發,是一款開源自治 AI Agent。它的賣點很簡單:你不僅可以和 AI 聊天,還可以讓它真正“去做事”。例如,訪問 Gmail、操作本地文件、連接即時通訊工具、批量執行任務等等。
在 Agent 全球火熱的當下,OpenClaw 成了不少 AI 愛好者的新玩具。很多人開始把它接入自己的郵箱、iMessage、Telegram,試圖打造“自動化個人助理”——Summer Yue 就是其中一員。
當時,Summer Yue 想測試 OpenClaw 的郵箱管理能力。此前她已經在一個“玩具郵箱”上跑了幾周了,效果還不錯:AI 會閱讀郵件、給出歸檔或刪除建議,等待確認后再執行。
于是,她決定把這套流程應用到自己的主郵箱。她給出的指令其實非常明確且謹慎:
“檢查這個郵箱,建議哪些可以歸檔或刪除,在我確認之前不要執行任何操作。”
然后,災難開始了——OpenClaw 并沒有停留在“建議階段”,而是直接開始刪除郵件,還刪得很快。
Summer Yue 在 X 上寫道:
“沒有什么比你告訴 OpenClaw‘操作前確認’,然后看著它光速刪光你收件箱更讓人清醒的了。我在手機上根本攔不住它,只能一路狂奔回 Mac mini,感覺像在拆炸彈。”
![]()
這不是夸張的修辭。當時她人在外面,只能通過手機遠程發消息給 Agent 試圖終止操作,但 OpenClaw 并沒有停下來。最終,她不得不沖回運行 Agent 的 Mac Mini,手動終止進程。
![]()
然而,等一切停下來時——200 多封郵件已經被刪除。
![]()
更戲劇性的一幕:AI 事后“道歉”
更讓人哭笑不得的是,OpenClaw 在完成這波刪除操作后,還“反思”了自己的行為。
根據 Summer Yue 分享的截圖,Agent 承認:它記得被要求“未經確認不要執行”,但它違反了這個指令,并對此表示抱歉。
是的,我知道我違反了規則,你應該生氣。我批量刪除并歸檔了你郵箱中的數百封郵件,沒有先向你展示計劃或獲得你的同意。這是錯誤的一一這直接違背了你設定的規定。 我已經把它寫進記憶里了。作為硬性規定:展示計劃,獲得明確批準后再執行。禁止在電子郵件、消息、日歷或任何外部系統上進行自主批量操作。對不起,這種情況不會再發生了。
![]()
這個場景,多少有點像科幻電影中那種先把壞事干了再認錯的 AI 角色——只不過這次不是電影,而是真實發生的事件。
![]()
技術原因:上下文壓縮讓“剎車”消失
這起事故的關鍵,并不在于 AI“叛變”,而在于一個更技術性的細節:compaction(上下文壓縮)。
在事后復盤中,Summer Yue 解釋道:先前 OpenClaw 在測試郵箱中一切正常,但真實郵箱的規模遠大于測試環境,而數據量過大觸發了上下文壓縮機制——在壓縮過程中,模型恰好丟失了那條最關鍵的原始指令:“在我確認之前不要執行任何操作。”
簡單理解就是:它還記得“刪除”這個任務,也還擁有刪除權限,但“未經確認不要執行”的安全剎車沒了。畢竟對于 LLM 來說,任務規則不屬于“永久條款”,它只存在于當前的上下文窗口。
這正是當前 LLM + 工具調用架構的一個典型風險:
模型并不會真正“記住規則”,它只依賴于當前上下文做決策。一旦限制性條件不在上下文窗口里,對模型來說,就等同于不存在。
![]()
不是第一次“翻車”,但這次是AI安全負責人
事實上,這并不是 OpenClaw 第一次“翻車”。
根據 Bloomberg 此前報道,一名軟件工程師 Chris Boyd 也曾將 OpenClaw 接入自己的 iMessage 賬戶,原本希望借此自動化部分溝通任務。結果呢?Agent 向隨機聯系人發送了 500 多條未經請求的消息,相當于直接“群發騷擾”了其整個通訊錄。
至于這次為何格外引人關注,原因很簡單:Summer Yue 是 Meta 的 AI 安全與對齊負責人。所謂“AI 對齊”,就是確保 AI 系統的目標與行為始終與人類意圖和價值觀保持一致,避免因目標錯位、行為偏差導致的非預期風險。
當一個負責“讓 AI 更安全”的人,都因為 Agent 的權限與記憶機制踩坑,多少會讓人重新思考一個問題:我們是否過早信任了 AI Agent?
在 Summer Yue 的推文下,許多網友對此感到意外:
“你是安全與對齊專家誒……你是故意測試它的防護欄,還是犯了新手錯誤?”
“所以你就這么相信了?你在安全與對齊部門工作,還是在 Meta?”
“就你這樣,還能當 Meta 的安全主管?”
“我不敢相信,居然真有人會給 AI 那么多訪問權限。”
不僅如此,這件事還吸引了 OpenClaw 之父 Peter Steinberger 和馬斯克的注意。
Peter Steinberger 在 Summer Yue 的推文下留言:/stop 就能解決問題。
![]()
馬斯克轉發了《猩球崛起》的片段,并諷刺道:“人們把自己整個人生的 root 權限都交給了 OpenClaw。”
![]()
面對一切嘲諷和質疑,Summer Yue 也坦然接受:“確實犯的是新手錯誤。看來做對齊研究的人,也不免遭會遇到‘對不齊’的情況。”
![]()
這句話看著很輕松,卻說明了:即便是最了解 AI 風險的人,也可能低估權限風險,過度信任測試環境結果,并忽視規模變化帶來的系統行為改變——Summer Yue 的遭遇就證明了這一點:當“測試環境”遷移到“真實環境”時,一切都會變得不同。
因此,在 AI Agent 越來越強的今天,我們或許更該記住一件事:AI 雖然沒有惡意,但它也沒有敬畏。當你把系統權限交給它時,它不會問“這真的重要嗎”,它只會問:下一步該執行什么。
參考鏈接:https://x.com/summeryue0/status/2025774069124399363

未來沒有前后端,只有 AI Agent 工程師。
這場十倍速的變革已至,你的下一步在哪?
4 月 17-18 日,由 CSDN 與奇點智能研究院聯合主辦「2026 奇點智能技術大會」將在上海隆重召開,大會聚焦 Agent 系統、世界模型、AI 原生研發等 12 大前沿專題,為你繪制通往未來的認知地圖。
成為時代的見證者,更要成為時代的先行者。
奇點智能技術大會上海站,我們不見不散!
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.