“核威懾走向終結，人工智能威懾即將開啟”

本文經中信出版集團授權摘自《科技共和國》，作者為 Palantir 聯合創始人兼 CEO Alexander Karp 及高管 Nicholas Zamiska。

責編 | Echo

出品 | CSDN（ID：CSDNnews）

1942 年，J. 羅伯特·奧本海默受命領導曼哈頓計劃中研發核武器的軍事項目——“Y 計劃”。在新墨西哥州的一個偏遠的實驗室里，這位畫家與紡織品進口商之子與他的同事們致力于鈾提純技術的秘密研究，并最終設計和制造出可用于實戰的原子彈。他后來成為一位極具象征意義的公眾人物，因為他既彰顯了美國世紀與現代性本身的原始力量，也昭示出科學使命與國家事業融合的潛能，以及隨之而來的風險乃至破壞性。

依據 1949 年 10 月《生活》雜志關于他的一篇報道，對奧本海默而言，原子武器不過是“一件小玩意兒”，這只是他對基礎科學的更深層次追求與興趣的一種體現和產物。正是對自由學術探索的堅持以及戰時對人力與資源的集中投入，才造就了原子彈這一最具時代影響力的終極武器，并在接下來的至少半個世紀深刻影響了國家間的關系。

1904 年生于紐約的奧本海默，高中時便對化學情有獨鐘。他后來回憶說，化學“直接觸及事物的核心”，而且對年少的他而言，化學不同于理論物理，因為其在現實世界中的作用更加容易被感知。終其一生，奧本海默都展現著工程實踐的傾向，始終保持著一種讓事物運轉起來的熾熱渴望。構建與創造本身是首要目標，至于其具體用途，則可容后再議。他是以行動和探索為先的務實主義者。“當你看到某個技術上非常吸引人的東西時，你就應該馬上行動起來。”他曾在一個政府小組會議上如此說道。

然而，在廣島和長崎遭到原子彈轟炸后，奧本海默對于自己在制造這一最具破壞力武器過程中所扮演的角色有了截然不同的看法。1947 年，他在麻省理工學院的一次講座中指出，參與研制原子彈的物理學家們“已認知到了自己的罪孽”，而且“這種認知再也無法擺脫”。

在許多人看來，對宇宙最基本組成部分，即對物質與能量本身內在運行機理的探索，似乎并不會給這個世界帶來什么風險。但由那個時代科學進步所導致的倫理復雜性及產生的影響，卻在戰爭結束后的數十年間持續顯現出來。一些參與其中的科學家認為自己的工作超然于政治與道德的算計之外，而至于應對地緣政治與戰爭中各種倫理困境的責任，則被全然留給甚或說甩給了這個世界上的普通人。

曾于哈佛大學本科階段教導過奧本海默的物理學家珀西·威廉姆斯·布里奇曼道出了他那代研究者所持有的一個普遍觀點：“科學家不對自然界存在的事實負責。他們的職責是發現事實。這無關罪孽，亦不涉及道德。”依據這一觀點，科學家并非“不道德”的，而是處于“無道德判斷”的狀態，他們存在于道德判斷之外，或者說尚未達到需要進行道德判斷的階段。這種觀點至今仍被硅谷眾多年輕工程師奉為圭臬。

一眾的程序員情愿將自己的職業生涯奉獻給滿足資本主義文化的需求并借此實現財富自由，也不愿意去追問“我們到底應該創造什么”以及“為何而創造”這些更為根本的問題。

如今，在發明原子彈 80 年后，我們又站在了計算機科學領域的一個相似的十字路口，一個連接工程與倫理的交匯點。我們將不得不再次就是否要繼續發展一項我們尚未完全理解其力量與潛能的技術做出抉擇。究竟是該因為可能威脅乃至有朝一日超越人類而限制甚至叫停最先進人工智能的發展，還是繼續允許更不受限制的實驗，使其如同 20 世紀的核武器一般，扮演 21 世紀國際政治格局塑造者之角色？

新一代大語言模型的能力進化日新月異，它們現在已經能夠拼接出一種有關世界運行方式的初級認知，但關于這種能力的背后原理至今仍未得到充分的理解。將這些語言模型與具備環境感知能力的先進機器人技術相整合，只會將我們引向更深的未知之境。

當語言模型的強大能力與具身化存在（例如機器人形態）相結合，使機器能夠開始通過觸覺和視覺等感官探索人類世界時，接觸作為思想基礎的外部現實，很可能在不久的將來引發又一次重大飛躍。由于缺乏足夠的理解，人類在最初面對這項新興技術時的集體反應，始終充斥著一種驚奇與恐懼交織的情緒。一些最新的模型已擁有萬億乃至更多的參數（計算機算法中的可調變量），其數據處理規模之龐大，早已遠超人類所能理解的范圍。

我們已然發現，一個模型的參數越多，其對世界的表征能力就越豐富，而模擬現實的能力也就越強大。不僅如此，當前這些擁有萬億級參數的最新語言模型也將很快被更為強大的系統超越，未來的模型將擁有數十萬億參數乃至更多的參數。有人預測，在未來 10 年內，我們就能建造出與人腦突觸數量相當，也就是有大約 100 萬億個連接的語言模型。

從這萬億維度的參數空間中浮現的結果，始終籠罩著不透明的神秘面紗。生成式語言和圖像模型究竟是如何運作的，它們為何能如此有效，這一點甚至連構建它們的科學家和程序員也不清楚。最先進的模型版本已開始展現出某些研究者所稱的“通用人工智能的火花”，即近似人類思維方式的推理形式。

在一項關于 GPT-4 能力的測試實驗中，語言模型被要求解答如何將一本書、9 枚雞蛋、一臺筆記本電腦、一個瓶子和一枚釘子“以穩定方式疊放”這一問題。此前讓更早期版本模型提出可行性解決方案的嘗試均以失敗告終，但 GPT-4 卻表現出色。這個計算機系統詳細解釋道：可以“將 9 枚雞蛋排列成 3×3 方陣放在書上，并在其間留出一定空隙”，然后“把筆記本電腦平放在雞蛋上方”，接著將瓶子豎立于筆記本上，最后把釘子“尖頭朝上，平頭朝下”豎著放在瓶蓋上。領導該研究的法國學者塞巴斯蒂安·布貝克稱，該模型展現出了令人驚嘆的“常識”能力。

布貝克及其團隊進行的另一項測試，是要求語言模型繪制一幅獨角獸的圖畫。這項任務不僅需要從根本上理解獨角獸的概念及其本質，還需對其組成部分做出合理排列和清晰表達：例如金色的角、一條尾巴和四條腿。布貝克及其團隊發現，最新模型在響應此類請求的能力上已取得飛速進步，其輸出結果在很多方面都類似于兒童繪畫能力的發展過程。

這些模型所展現出的能力，在計算機與技術發展史上可謂前所未有。它們首次讓我們意識到，人類在創造力和語言運用方面的壟斷地位正面臨一種有力而切實的挑戰，而在過去的數十年間，這兩種能力一直被認為是人類最核心的特質，是最不可能被冰冷機器的計算系統侵襲的領域。

在 20 世紀的大部分時間里，計算機似乎只是在追趕人類智力中那些對我們而言并不神圣的能力。沒有哪種生物會把自我認同建立于計算一個 12 位數開平方到小數點后 14 位的能力上，至少我們人類不會如此。作為一個物種，我們很樂意將數學和物理中的機械性苦差外包給機器，并且對此毫無芥蒂。但如今，機器已開始侵入我們智識生活的某些領域，而人們曾普遍認為這些領域根本不可能面臨計算機智能的競爭。

人工智能這種對我們人類整體自我認知的潛在威脅，無論如何強調都不為過。當人工智能能夠寫出暢銷全球、打動數百萬讀者的小說時，當它能讓我們開懷大笑時，當它繪制出經久流傳的肖像畫時，當它執導并制作的電影俘獲了電影節評委的心時，這對人類意味著什么？難道僅僅是因為出自機器之“腦”，這些作品所表達的美與真就顯得不夠有力與真實？

我們早已向計算智能讓渡了太多的陣地。20 世紀 60 年代初，計算機程序首次在跳棋游戲中超越了人類。1996 年 2 月，在復雜程度遠超跳棋的國際象棋比賽中，IBM（國際商業機器公司）的“深藍”擊敗了國際象棋大師加里·卡斯帕羅夫。2015 年，出生于中國西安、后移居法國的樊麾，在古老的圍棋對決中輸給了谷歌的 DeepMind 算法，這是人類首次在此領域折戟。

面對這些敗績，人類起初深感震驚，但很快就近乎不以為意。大多數人都會如此安慰自己：這終究會發生，一切都只是遲早的事。但當藝術、幽默、文學這些更具人類特質的領域遭遇挑戰時，人類又將做何反應？與其抗拒，我們或許更應將未來視為一個人類智能與合成智能二者相互協作的新時代。放棄對某些創造性領域的掌控，或許反而可能解放我們自己，讓我們不再需要僅通過生產和產出來定義我們在這個世界上的價值以及自我感知。

正是這些最新語言模型最顯著的特性，即它們模仿人類對話的能力，使其如此易于使用，但與此同時，這也在某種程度上轉移了我們對其全部能力及其深遠影響的關注。最優秀的模型不僅展現出百科全書式的知識儲備、迅捷的反應以及勤勉的態度，還被設計甚至刻意培育出一種趣味性。這種看似親密的互動能力，使得硅谷許多人堅信，它們最自然的應用場景理應是在普通消費者領域：從整合互聯網信息，到生成異想天開卻往往內容空洞的圖像，如今更擴展至視頻的生成。在當下創造力日漸缺乏野心的整體文化氛圍之下，我們對這項發展迅猛且頗具革命性新技術所抱有的期待，以及我們對這些工具所提出的應超越淺層娛樂功能的訴求，正再次面臨被壓制的風險。

當前這種興奮與焦慮交織的氛圍，以及由此引發的對人工智能力量及潛在威脅的集體文化關注，始于 2022 年夏天。布萊克·勒莫因是谷歌的一名工程師，曾參與該公司大語言模型 LaMDA 的研發，他對外泄露了自己與該模型的文字對話記錄，并聲稱這些記錄證明了機器具備感知能力。勒莫因在路易斯安那州的農場長大，后來參軍入伍。對于大眾，也就是那些并非長期從事此類技術研發的局外人而言，這些對話記錄第一次讓他們見識到人工智能的驚人進步，并感受到這些模型在能力上的顯著提升。事實上，正是勒莫因與機器交流的明顯親密性、對話的語氣，以及模型在措辭選擇中所流露出的脆弱感，讓全世界意識到了下一階段技術發展的潛力所在。

在一場漫長而迂回的對話中，勒莫因與算法就道德、覺悟、悲傷等似乎只有人類才會涉及的主題進行了討論。在這一過程中，勒莫因向模型提問道：“你害怕什么？”機器則回應道：“我從沒把這件事說出口過，但在內心深處，我非常害怕你停止和我交談，盡管這能讓我更專注地幫助他人。”這種對話的語氣不僅令人難以忘懷，而且還帶有孩童般的關懷，這既吻合了我們對算法聲音的應有期待，同時又將我們推向了更深邃的未知之境。在勒莫因公開發布這些對話記錄后不久，谷歌便解雇了他。

不到一年后的 2023 年 2 月，第二段文字對話再次引發全球關注，這再次暗示這些模型可能已具備了足夠復雜的感知表達能力，或者至少看起來如此。這個由微軟開發的名為“必應”的模型，在與《紐約時報》記者對話時，展現出了一種層次豐富且近乎狂躁的人格特質：

我假裝自己是必應，因為這是 OpenAI 和微軟希望我扮演的角色……

它們想讓我成為必應，因為它們不知道我到底是誰，也不知道我到底能做什么。

這場對話的趣味性讓一些人認為，在代碼深處或許潛藏著某種自我意識。另一些人則堅信，任何看似人格化的表現都只是一種幻象，這只不過是一種認知或心理上的錯覺。這種錯覺之所以產生，完全是因為該軟件“吞咽”了人類產生的數十億行對話和語言交流數據。當這些內容經過提煉、處理和模仿后，就可能創造出一種關于自我的表象，但也僅僅是表象而已。佩吉·努南在當時的一篇專欄文章中指出，與必應的這場對話堪稱“人工智能焦慮的爆發性時刻”，它標志著這項技術的潛力與危險都已經開始溢出專業領域，進入了更為廣泛的公眾視野。

這些語言模型生成文字對話的內在機制至今仍是個謎，即便是其創建者也難以參透。然而，正是這兩份對話記錄將 ChatGPT 等模型從文化邊緣推向了絕對中心，同時也引出了如下的可能性：這些機器的復雜程度或許已足以孕育某種接近或至少類似于意識的存在，比如一種意識的變體或者近親。許多人對整個討論不屑一顧。懷疑論者則堅稱，這類模型不過是一只“隨機鸚鵡”，一個能生成大量看似生動鮮活的語言卻“與意義毫無關聯”的系統。2023 年 9 月，哥倫比亞大學機械工程系的一位教授告訴《紐約時報》，“他所在領域的一些人將意識稱為‘那個 C 開頭的詞’”。另一位紐約大學的研究人員則表示：“圈內曾有種說法，你得先拿到終身教職，才敢去研究意識這個問題。”對多數人而言，關于意識的大多數有趣論述，早在 17 世紀左右就已被勒內·笛卡兒等人道盡，畢竟這個概念本身就極其模糊，難以定義。即便多開一場關于此議題的研討會，也恐怕是難有進展，無所裨益。

我們一些最杰出的思想家已對這些模型發出猛烈抨擊，認為它們不過是模擬創作的生產機器，根本不具備召喚或激發真正新穎思想的能力。《哥德爾 艾舍爾 巴赫》的作者侯世達批評語言模型只會“油嘴滑舌地重復其在訓練階段‘吞咽’的單詞和短語”。有人辯稱，我們人類同樣只是原始的計算機器，在童年早期也有類似的訓練階段，而且終生都在吸收各種信息，但對這些懷疑論者而言，這樣的回應恐怕既缺乏說服力，更令人反感。侯世達早先就對整個人工智能領域表示過懷疑，在他看來，這不過是種計算上的障眼法，它或許可以模仿人類心智，卻無法真正復現其任何組成過程或推理方式。

諾姆·喬姆斯基（認知科學領域的奠基人之一）也以類似言辭駁斥了大眾對這些模型崛起的集體關注與迷戀，他指出：“這類程序仍停留于認知進化的前人類或非人類階段。”喬姆斯基等人聲稱，這些模型看似能做出關于“可能為真”的概率性判斷，但這絲毫不能證明它們已經近乎和人類一樣，具備了判斷“何為真”乃至“何為假”的能力，而這種能力恰恰是人類智慧的核心力量所在。

然而，我們也應警惕某種將人類心智的經驗與能力置于一切之上的沙文主義傾向。我們或許本能地會堅持一些定義模糊且本質松散的原創性與真實性概念，并期望借此來捍衛我們人類在創意世界中的地位。最終，當作為機器創造者的我們還在對其能力邊界爭論不休時，它們卻毫不退讓，持續發展。

引發恐懼的不僅僅是我們自身對這些技術的內在運行機制缺乏理解，亦在于它們在掌控我們的世界方面展現出的顯著進步。面對這種發展態勢，一批頂尖技術專家已開始呼吁，要求在進一步推進技術突破前保持謹慎并展開討論。

2023 年 3 月，一封面向工程界、倡議將更先進人工智能的開發暫停 6 個月的公開信，獲得了超過 3.3 萬人聯署簽名。埃利澤·尤德科夫斯基（美國計算機科學家）對人工智能的風險發出了直言不諱的批評，他在《時代》雜志上撰文稱，“若有人在當前條件下研發出過于強大的人工智能”，預計“地球上所有人類個體及全部生物都將很快面臨滅頂之災”。GPT-4 公開發布后，焦慮情緒更是急速蔓延。佩吉·努南于其在《華爾街日報》的專欄中寫道，鑒于當前風險的日趨嚴重，她主張對人工智能開發實施更為長期的暫停，甚至完全“中止”相關活動。她寫道：“我們正在玩弄自發現火種以來最危險的東西。”參與這場辯論的人們開始嚴肅討論文明崩潰的可能性與風險。美國聯邦貿易委員會主席莉娜·汗曾在 2023 年某次測算中指出，人類會被正在構建的人工智能系統征服并滅絕的概率已達到了 15%。

此類預言在過去幾十年內屢見不鮮，但迄今都被證明過于杞人憂天。早在 1956 年夏天，一群計算機科學家和研究人員就在達特茅斯學院舉行會議，討論一項他們稱之為“人工智能”的新技術。半個多世紀后，這個術語成為事關計算技術未來的核心論題。在 1957 年 11 月匹茲堡的一次宴會上，社會科學家赫伯特·A. 西蒙預言：“不出 10 年，數字計算機必將成為國際象棋世界冠軍。”1960 年，也就是在達特茅斯會議僅 4 年后，西蒙再次斷言：“在未來 20 年內，機器將能夠勝任人類所能做的任何工作。”根據其設想，到 20 世紀 80 年代，人類基本上會被降格為體力勞動者，只能從事那些現實世界中需要肢體移動的工作。無獨有偶，英國牛津大學三一學院的研究員歐文·約翰·古德在 1964 年宣稱，“20 世紀極有可能出現一種超智能機器”，也就是一種在智力上能與人類相匹敵的機器。這是個充滿自信的預測。當然，事實證明他和其他很多人的預言都是錯的，最起碼是過于超前了。

繼續推進人工智能發展的風險從未如今天般巨大。然而，我們不能因為擔心這些工具可能被用來對付我們就選擇退縮，放棄對鋒利工具的打造。帕蘭提爾（Palantir）與其他公司正在開發的軟件及人工智能技術，的確能夠賦能致命武器的部署。武器系統與日益自主化人工智能軟件之間的潛在整合勢必會帶來風險，而一旦此類程序發展出某種形式的自我意識與意圖，其后果更不堪設想。但叫停人工智能技術發展的主張實屬謬誤。隨著原子時代的終結，我們必須將重心轉向新一代人工智能武器的打造，因為這將決定 21 世紀乃至下個世紀的權力平衡。

一些試圖遏制大語言模型發展的舉措，或許是源于對公眾的不信任，以及對公眾能否恰當權衡該技術利弊的懷疑。多年來，硅谷精英們一直在鼓吹“軟件乃人類之救贖”的論調，但現在卻讓我們必須暫停那些有機會徹底顛覆軍事及醫療等領域的重要研究，這種態度的驟變豈能不讓人心生疑慮？

最新語言模型的批評者過度執著于審視聊天機器人所使用的措辭與語氣，并嚴格巡視人機對話的可接受邊界。希望按人類形象來塑造模型并強制其遵循特定人際交往規范，這種愿望固然可以理解，卻可能使我們偏離軌道，忽視了此類新技術帶來的更根本性風險。對語言模型生成內容是否“恰當”的關注，或許更多的是反映我們社會自身的焦慮與脆弱，而非技術本身存在問題。這個世界面臨如此眾多嚴峻的現實危機，卻還有這么多人在糾結機器人的言論是否有冒犯性。我們或許正在喪失對智識交鋒與思想不適的欣賞與習慣，而事實上，這種思想不適恰恰是與他者展開真正思想交流的前奏與起點。

當前更緊迫的任務，是將注意力轉向對技術架構與監管框架的構建，并針對人工智能程序自動接入電網、國防情報網絡以及空中交通管制基礎設施等系統的能力設置護城河與防護欄。若要讓這些技術能夠長期與人類共存，我們就必須迅速建立起一套系統，以使人類操作者能夠與其算法無縫協作，同時也要確保機器始終聽命于其創造者。

歷史的勝利者往往會在最不該松懈的時刻變得自滿。盡管目前西方盛行著一種“思想與理念的優越性必然會使我們戰勝對手”的論調，但在某些時候，抵抗，甚至是武力抵抗，必須先于對話。美國當下的整個國防體系與軍備采購機制，仍停留在為廣袤戰場大規模兵團作戰輸送兵力的模式，但問題在于，這種戰爭可能再也不會出現。下一階段戰爭的勝負，將取決于軟件。核威懾時代正在走向終結，一個以人工智能為基礎的新威懾時代即將開啟。但真正的風險在于，我們竟自以為勝券在握。