《硅谷最危險的人》七期連載系列之第四期｜那些消失的承諾：安全去哪了？

No.0285

Science Partner

Bring you to the side of science

導 讀

2015年，奧特曼給埃隆·馬斯克發了一封電子郵件，提議創立一家新機構，核心原則是：“安全應作為首要要求。”

那封郵件里，他還比較了原子彈：“顯然我們會遵守并積極支持所有監管。”

這不是隨口一說。當時他們對外的宣傳邏輯是：人工智能可能是有史以來最危險的發明，正因如此，它的研發必須由一家把安全放在一切之上的機構來主導。這套邏輯后來成了他最重要的融資工具，也成了招攬世界上最頂尖AI研究者的核心承諾。

大量科學家，就是沖著這些承諾，接受了遠低于市場價的薪酬，加入了OpenAI

那么，這些承諾后來怎么了？

走，跟伙伴君來！

今日主筆 | 恒意

那些消失的承諾：安全去哪了？

01. 第一次，章程被繞過

OpenAI的公司章程里有一條極其激進的條款，由早期研究負責人阿莫迪（后來Anthropic公司的創始人）起草：如果另一個“價值觀對齊、重視安全”的項目先于OpenAI接近研發出AGI，公司將停止競爭，轉而協助該項目。

這被稱為“合并協助條款”，意思是：如果谷歌的團隊先造出安全的AGI，OpenAI可以停止運營，把資源捐給谷歌。

這在商業邏輯上幾乎是瘋狂的承諾。但OpenAI本來就不該是普通商業公司。

2019年，微軟談判10億美元投資。阿莫迪要求在協議里保留這一條款。奧特曼當面答應了。但協議即將簽署時，阿莫迪發現新增條款賦予了微軟阻止OpenAI任何合并的權力，這實際上徹底架空了那條章程。

阿莫迪當眾朗讀這個條款，質問奧特曼。奧特曼否認該條款存在，直到另一名同事當場證實。據阿莫迪的筆記記載，奧特曼后來表示不記得這件事。

02. 第二次，安全審批被繞過

2022年12月，奧特曼向董事會保證，即將發布的GPT-4模型多項功能已通過安全小組審批。董事托納要求查看相關文件。

文件顯示，最具爭議的兩項功能，允許用戶微調模型、將模型部署為個人助理，并未獲批。

此外，微軟在印度發布了ChatGPT早期版本，未完成必要安全審查，但奧特曼在數小時的董事會匯報中，從未提及此事。

03. 第三次，20%的算力承諾

2023年，奧特曼高調宣布成立“超級對齊團隊”（Superalignment Team），由伊利亞和另一名研究負責人揚·萊克共同領導。官方公告稱，團隊將獲得公司已獲取算力的20%，價值可能超過10億美元。

公告還稱，這項工作至關重要，因為如果對齊問題無法解決，AGI或將導致人類喪失權力甚至滅絕。

這是非常重的話。

但，那20%兌現了嗎？

四名團隊內部及密切合作的人士稱，實際資源僅占公司算力的1%到2%。一名研究員說：大部分所謂的超級對齊算力，都用在最老舊、芯片最差的集群上。

2024年，這支團隊被解散，任務未完成。伊利亞和萊克相繼辭職。

萊克在公開平臺寫道：“安全文化與流程已讓位于光鮮的產品。”

04. 從F開始的成績單

生命未來研究所（Future of Life Institute）是一家奧特曼本人曾認可其安全原則的機構，它對各大AI公司的生存安全進行評級。

在最新報告里，OpenAI的評級是：F。

Anthropic是D，谷歌DeepMind是D-，其他所有大型公司也都是F。

所以不是OpenAI一家的問題。但有意思的是：OpenAI是那家曾經承諾最多的公司。

那個最初說安全是首要要求的人，現在對我們說：”我對通用人工智能安全的理念，和很多傳統安全領域的人不太合拍。“當記者追問具體措施時，他回答：我們仍會開展安全項目，或者……至少是與安全相關的項目。

當記者提出想采訪公司內專門研究生存安全問題的研究員時，一位OpenAI發言人感到困惑，問道：“你說的生存安全是什么意思？在我們，這根本不算一個領域。

那么彼時彼刻的奧特曼的重心在哪里，又在尋找什么。

我是恒意，咱們下期接著聊～

本文僅作科普分享使用，歡迎小伙伴們點、收藏、關注，以備不時之需，當然更歡迎您把 介紹給周邊可能需要的更多伙伴們呀。