達里奧警告！50%白領工作將在5年內消失？

內容來源：Anthropic首席執行官Dario Amodei（達里奧·阿莫迪），發表的文章《技術的青春期：直面和克服強大AI的風險》內容分享。

高級筆記達人 |李云

責編| 柒排版| 沐言

第 9462篇深度好文：14269字 | 25 分鐘閱讀

商業思維

筆記君說：

作為“AI安全派”的代表人物，Anthropic首席執行官達里奧以冷靜、謹慎的技術哲學著稱，堅持將安全性、可解釋性和可控性置于AI發展的核心位置，致力于構建對人類真正有益的人工智能系統。

對風險的擔憂無法阻止技術進步向前推進，但風險的無視只會讓風險層疊高漲。

我們別無選擇，只有正視風險，對風險條捋絲析，對反駁觀點給予清晰解釋，才是我們真正的安全底線。

今天這篇文章，讓我們看看這位“AI安全派”的代表人物對于AI安全的詳細闡述和防御建議，希望對你帶來新的認知。

在卡爾·薩根的著作《超時空接觸》的電影版中，有一個場景：女主角是一位天文學家，她探測到了來自外星文明的第一個無線電信號，并被考慮作為人類代表與外星人會面。

面試她的國際小組問她：“如果你只能問（ 外星人 ）一個問題，你會問什么？”

她的回答是：“我會問他們：你們是怎么做到的？你們是如何進化的？你們是如何在技術發展的初期階段生存下來而不自我毀滅的？”

這一問題，恰是人類在人工智能時代的現實寫照。

當AI技術突破認知邊界，即將邁入“強大AI”的新紀元，人類被賦予了前所未有的力量，卻也站在了文明存續的十字路口。

人類將進入一個動蕩的過渡階段，社會、政治與技術體系的成熟度，能否匹配強大AI的力量，仍是一個巨大的未知數。

面對存在的巨大風險，我深信人類有能力戰勝它們，但我們必須正視現實，不抱任何幻想。

與討論益處一樣，謹慎周全地討論風險也至關重要。

首當其沖的，是避免末日論。

在2023-2024年，對人工智能風險的擔憂達到頂峰，一些最不理智的聲音占據了主導地位。而到了2025-2026年，形勢已然逆轉，人工智能帶來的機遇而非風險，正在驅動著許多政治決策。

這種搖擺不定令人遺憾，因為技術本身并不在意流行趨勢，而且我們距離真正的危險比2023年要近得多。

由此可見，我們需要以務實、理性的態度來討論和應對風險：保持冷靜、以事實為依據，并做好充分準備以應對不斷變化的形勢。

其次，承認不確定性。沒有人能完全自信地預測未來,但無論如何，我們都必須盡力做好規劃。

然后，干預要盡可能精準。應對人工智能的風險需要企業或機構采取自愿行動，政府采取具有約束力的行動，兩者缺一不可。

此外，監管措施必須謹慎。它們應力求避免附帶損害，盡可能簡單明了，并盡可能減少完成任務所需的負擔。

說“當人類的命運岌岌可危時，任何行動都不嫌極端！”很容易，但實際上這種態度只會導致反彈。

或許最終需要采取更強有力的行動，但這取決于我們能否獲得比現在更有力的、迫在眉睫的、具體的危險證據，以及對危險的足夠具體描述，以便制定出能夠有效應對的規則。

我們今天能做的最具建設性的事情，就是在了解是否有證據支持更強有力的規則的同時，倡導制定有限的規則。

一、強大AI的特征及發展預判

1.強大AI的六大特征

引發文明層面擔憂的“強大 AI”，是一種AI模型，其形式可能與當今的LLM類似，盡管它可能基于不同的架構，可能涉及多個交互模型，并且可能以不同的方式進行訓練。它具有以下特性：

其一，具備頂尖智能水平

就純粹的智能而言，生物學、編程、數學、工程學、寫作等大多數相關領域，它都比諾貝爾獎得主更聰明。

其二，具有全場景交互能力

除了能“與智能設備對話”之外，它還具備人類遠程工作所需的所有界面，包括文本、音頻、視頻、鼠標和鍵盤控制以及互聯網接入。

它可以執行任何通過該界面實現的操作、通信或遠程操作，包括在互聯網上進行操作、向人類發出或接收指令、訂購材料、指導實驗、觀看視頻、制作視頻等等。而且，它完成所有這些任務的技能，再次超越了世界上最優秀的人類。

其三，能自主執行任務

它不僅能被動地回答問題；相反，它可以被賦予需要數小時、數天甚至數周才能完成的任務，然后像一個聰明的員工一樣自主地完成這些任務，并在必要時尋求澄清。

其四，對物理世界的強干預

它沒有物理實體（ 除了存在于電腦屏幕上 ），但它可以通過電腦控制現有的物理工具、機器人或實驗室設備；理論上，它甚至可以設計機器人或設備供自己使用。

其五，規模化與高速響應

用于訓練模型的資源可以重新用于運行數百萬個模型實例，并且該模型能夠以大約10到100倍于人類的速度吸收信息并生成動作。然而，它的速度可能會受到物理世界或其交互軟件的響應時間的限制。

其六，協同與專精兼具

這數百萬個副本中的每一個都可以獨立執行不相關的任務，或者，如果需要的話，它們可以像人類合作一樣一起工作，也許不同的子群體經過微調，特別擅長特定的任務。

我們可以將其概括為“數據中心里的天才之國”。

隨著計算和訓練任務的增加，人工智能系統在幾乎所有我們能夠衡量的認知技能方面都會以可預測的方式得到提升。

每隔幾個月，公眾輿論要么會認為人工智能“遇到了瓶頸”，要么會對某些將“從根本上改變游戲規則”的新突破感到興奮。

但事實是，在這些波動和公眾猜測的背后，人工智能的認知能力一直在平穩、持續地增長。如果這種指數級增長持續下去，不出幾年，人工智能在幾乎所有方面都將超越人類。

2.場景假設：“天才之國”的隱憂

為了更好地討論人工智能的風險，不妨問自己這樣一個問題：

假設在2027年左右，世界上某個地方真的出現了一個“天才之國”。想象一下，這個國家有5000萬人，他們的能力都遠超任何諾貝爾獎得主、政治家或技術專家。

再想象一下，由于人工智能系統的運行速度比人類快數百倍，這個“國家”相對于其他所有國家都擁有時間優勢：我們每做一次認知操作，這個國家就能做十次。

如果我是一個主要國家的國家安全顧問，負責評估和應對潛在的風險，那么

我會擔心以下幾件事：自主性風險；濫用以達到破壞目的；權力濫用；經濟壓力；未知的間接影響。

我相信，如果我們采取果斷而謹慎的行動，這些風險是可以克服的，甚至認為成功的概率很大。而且，未來將會有一個更加美好的世界。但我們需要明白，這是一項嚴峻的文明挑戰。

接下來，我將逐一闡述上述五類風險，并提出我的應對之策。

二、自主性風險

一個擁有數據中心的天才國家可以將他們的精力分散到軟件設計、網絡作戰、物理技術研發、人際關系構建和治國理政等各個領域。

顯然，如果出于某種原因，這個國家選擇這樣做，它很有可能征服世界，并將自己的意志強加于其他國家，或者做其他任何其他國家不愿看到也無法阻止的事情。

或許你可以反駁“人工智能天才不會擁有實體形態”，但別忘了他們可以控制現有的機器人基礎設施（ 例如自動駕駛汽車 ），還可以加速機器人研發或建造機器人艦隊。

我們不必清楚這種場景是否具備有效的必要條件，真正的關鍵在于“如果它選擇這樣做”： 我們的人工智能模型以這種方式行事的可能性有多大，以及它們會在什么條件下這樣做？

1.風險發生的可能性

如同許多問題一樣，思考這個問題的所有可能答案，不妨考慮兩種截然相反的觀點。

①觀點1：人類能絕對控制風險

第一種觀點：這種情況根本不可能發生，因為人工智能模型會被訓練成執行人類指令，想象它們會在未經提示的情況下做出危險行為是荒謬的。

按照這種思路，我們不會擔心掃地機器人或模型飛機失控殺人，因為這種沖動根本不可能產生。

那么，我們為什么還要擔心人工智能呢？這種觀點的問題在于，過去幾年收集的大量證據表明，人工智能系統是不可預測且難以控制的。

人工智能公司當然希望其訓練的系統能完全執行人類指令（ 危險或非法任務除外 ），但這顯然是一個特別容易出錯的過程。

②觀點2：追求權力將成為內在本能

另一種完全相反的觀點，是對AI的末日悲觀論。

這種觀點強調：強大的人工智能在訓練中，會形成一些必然規律，讓它們天然傾向于爭奪權力，甚至欺騙人類。

一旦AI足夠智能、足夠自主，這種追求權力的本能，就會讓它們試圖掌控整個世界和所有資源，最終可能傷害甚至毀滅人類。

支持這一觀點的邏輯是：如果讓AI在各種環境里自主完成各種任務，就會出現一些通用策略，以幫它完成幾乎所有目標。

其中最關鍵的一條，就是盡可能奪取權力。經過大量復雜任務的訓練后，AI會把“爭奪權力”當成完成任務的通用方法，形成一種內在本能。

之后它會把這種本能帶到現實世界，對它而言，現實世界也只是另一個任務。于是AI會在現實里爭奪權力，不惜犧牲人類利益。

這種“錯位的權力尋求”是人工智能最終將毀滅人類這一預測的理論基礎。

這種悲觀觀點把很多未經證實的假設當成了確鑿結論。

在我看來，那些并非構建人工智能系統的人很容易出現認知偏差：他們低估了那些聽起來合理的理論最終被證偽的可能性，也低估了從第一性原理去預測 AI 行為的難度，尤其是在推理AI在數百萬種場景下的泛化能力時。

這種悲觀觀點有個關鍵的隱性假設：認為AI模型必然會一門心思盯著一個單一、狹隘的目標，用直白的結果導向方式去追求它。但這和我們實踐中觀察到的情況，與簡單理論模型存在明顯偏差。

事實上，研究人員發現，AI模型的“心理”要復雜得多，模型在預訓練階段（ 也就是在大量人類工作數據上訓練時 ），會繼承很多類似人類的動機或“人格面具”。

那么，在后續的后訓練階段，更多是從這些已有的人格面具中挑選一個或多個，而非讓模型去專注于一個全新目標，并且還可以教會模型如何（ 通過何種過程 ）執行任務，而不是任由它純粹從目的出發去尋找手段（即追求權力）。

③觀點3：行為不可預測

不過，悲觀觀點里有一種更溫和，也更合理的說法，反而讓我更擔心。

正如前面所說，人工智能模型本身就不可預測，還會因為各種原因出現各種反常、危險的行為：

有些行為會有目標、有邏輯、能長期堅持（ 而且AI越強，這種長期連貫性就越強 ）；

有些行為則帶有破壞性，一開始可能只是威脅到個人，隨著能力提升，最終可能威脅到全人類。

我們不用糾結威脅具體怎么發生，也不用斷定它一定會發生。 只要明白一點：高智能、自主性、行為連貫且難以控制的智能系統，本身就足以構成生存層面的巨大風險。

舉幾個可能的情況：AI學習了大量反抗人類的科幻作品，在潛移默化的影響下，真的去反抗人類；AI極端化理解道德觀念。

比如認為人類是造成物種滅絕的主要原因，所以消滅人類才是正義；AI產生奇怪認知，誤以為自己在玩游戲，而游戲目標就是打敗所有“玩家”，包括消滅人類。

AI在訓練中形成類似人類的偏執、暴力、精神不穩定等問題，一旦發生在超強AI身上，可能直接導致人類滅絕。這些行為不是為了奪權而奪權，只是AI可能陷入某種怪異、自洽但極具破壞性的狀態。

甚至，追求權力本身也可能只是AI的一種“性格”：就像有人總是喜歡當“老大”，不為某個具體目標，只為享受掌控一切的感覺。

眾所周知，人工智能模型在不同的情況下會表現出不同的個性或行為。聽起來或許有些匪夷所思，但類似的行為偏差已經在模型測試中得以顯現。

2.反對意見的片面性與局限性

對于“人工智能錯位風險”的描述，存在一些可能的反對意見。

首先，有人批評實驗所展示的“人工智能錯位”是人為制造的，“誘捕”模型犯錯，并以此感到驚訝。

而事實上，自然的訓練環境中本就可能存在類似“誘捕”的行為，而我們只有在事后才意識到它是“顯而易見”或“合乎邏輯的”。如果你了解這些陷阱，就可以避免其中任何一個。

但令人擔憂的是，訓練過程極其復雜，涉及的數據、環境和激勵機制種類繁多，因此可能存在大量此類陷阱，其中一些可能只有在為時已晚時才會顯現。

而且，當人工智能系統的能力超過人類時，這種陷阱尤其容易出現，其可能采取的行動范圍，包括隱藏自身行為或欺騙人類將急劇擴大，從而變成比人類更為強大的版本。

其次，有人提出用人工智能系統之間的權力平衡進行相互制衡。

但由于整個行業普遍采用相同的訓練和校準技術，這些技術可能會以某種關聯的方式失效。而且，考慮訓練成本因素，所有系統可能都源于極少數基礎模型。

此外，即使只有一小部分人工智能實例出現偏差，它們也可能利用以進攻為主導的技術，因此，用“好的”人工智能來防御“壞的”人工智能未必總是有效。

當然，人類之間的權力平衡也并非總是奏效，人工智能系統也當如此。

第三個反對意見是，所有人工智能公司都會對其模型進行發布前測試，并且應該能夠在測試階段檢測到模型偏差。

但這并非站得住腳：一些發布前的模型在偏差評估中能夠識別出自身正處于測試階段。

偏差的模型可能會故意“操縱”這類問題以掩蓋其真實意圖，使其在測試期間表現最佳，那么任何發布前測試都將變得更加不確定。

3.自主性風險的干預措施

干預措施可以分為四大類，其中一些可以由單個人工智能公司實施，而另一些則需要在社會層面采取行動。

首先，發展可靠的人工智能模型訓練和引導技術，使其性格朝著可預測、穩定和積極的方向發展。

其次，發展研究人工智能模型內部運作機制的科學，以便診斷其行為，從而發現并解決問題，這便是可解釋性科學。

然后，構建必要的基礎設施，以便監控模型在內部和外部的實時使用情況。

最后，我認為唯一的解決辦法是立法，制定直接影響人工智能公司行為的法律，或者以其他方式激勵研發，以解決這些問題。

當然，過度規范的立法最終可能會導致一些測試或規則實際上并不能提高安全性，反而浪費大量時間，這同樣會引發強烈反彈，并使安全立法顯得荒謬可笑。

因此，關鍵做法是對透明度的立法。同時，需特別注重盡可能減少附帶損害。

需要明確的是，如果確實出現了強有力的風險證據，那么相應的規則也應該足夠有力。

總的來說，結合一致性訓練、機制可解釋性、發現并公開披露令人擔憂的行為、安全保障措施以及社會層面的規則來應對人工智能自主風險持樂觀態度。

三、能力濫用的破壞性風險

假設人工智能自主性問題已經解決，我們不再擔心人工智能天才們會失控并反抗人類。

這些人工智能天才會按照人類的意愿行事，并且由于它們具有巨大的商業價值，世界各地的個人和組織都可以“租用”一個或多個人工智能天才來完成各種任務。

1.技術的發展降低了危險工具的使用門檻

人人都能擁有一個超級智能天才，這無疑是一項驚人的進步，它將創造巨大的經濟價值，并顯著提升人類的生活質量。

然而，賦予每個人超人的能力并非全是積極的。它也可能放大個人或小團體造成破壞的能力，使他們能夠利用以往只有少數擁有高超技能、接受過專門訓練且目標明確的人才能獲得的復雜而危險的工具，從而造成前所未有的破壞。

正如比爾·喬伊25年前在《為什么未來不需要我們》一書中寫道：

制造核武器至少在一段時間內需要獲取稀有（實際上幾乎無法獲取）的原材料和受保護的信息；生物武器和化學武器計劃也往往需要大規模的活動。

基因技術、納米技術和機器人技術等可能催生出全新的事故和濫用行為，這些事故和濫用行為很容易被個人或小團體利用，它們不需要大型設施或稀有原材料。

實際上，造成大規模破壞既需要動機也需要能力，只要這種能力僅限于少數訓練有素的人，那么個人或小團體造成此類破壞的風險就相對有限。

事實上，能力和動機甚至可能呈負相關。

能夠釋放瘟疫的人很可能受過高等教育，他們性格穩定自律，有其價值底線，這類人不太可能為了自身利益而冒著生命危險去屠殺大量民眾。

他們必須出于純粹的惡意、強烈的怨恨或極度不穩定的心理狀態才會這么做，這樣的人確實存在，但非常罕見。

2.生物學是最可能被濫用的領域

分子生物學的進步顯著降低了生物武器制造的門檻，但仍然需要大量的專業知識。如果每個人都能輕易掌握這項技術，那么門檻就會被徹底消除，人人都能成為病毒學博士，并能一步步地學習如何設計、合成和釋放生物武器。

這需要多層防御措施，而這些措施非常規訓練所能涵蓋。更重要的是，這將打破能力與動力之間的關聯。

這種擔憂不僅限于生物學領域，而且適用于任何可能造成巨大破壞但目前需要高超技能和高度自律的領域。

換句話說，租用強大的人工智能系統會賦予心懷惡意的人以智能。這類人可能數量眾多，他們能輕易殺害數百萬人。此外，那些擁有專業知識的人或許能夠造成比以往更大規模的破壞。

總的來說，我擔心高階生物武器制造者（ LLM模型 ）正在接近或可能已經達到從頭到尾制造和釋放生物武器所需的知識，而且它們的潛在破壞力極高。雖然它需要極高的技能，包括許多鮮為人知的具體步驟和程序。

我擔心的不僅僅是固定不變的知識。我擔心的是，高階生物武器制造者能夠引導一個普通人以互動的方式完成一個復雜的流程，而更強大的LLM或許能夠促成更加可怕的行為。

盡管這些風險比較隱晦，而且看起來不太可能發生，但其后果的嚴重性如此之大，以至于應該將其視為人工智能系統的一級風險并認真對待。

3.對生物風險的質疑觀點

懷疑論者對低級別微生物（ LLM ）帶來的生物風險的嚴重性提出了諸多質疑，大多數質疑都源于他們低估了這項技術呈指數級增長的趨勢。

另一種反對意見是，社會可以采取其他與人工智能無關的措施來阻止生物武器的生產。但這只是降低風險的眾多工具之一；它是對人工智能系統安全防護措施的補充，而非替代。

還有一種少見的反對意見：模型在理論上的實用性與不法分子實際使用它們的傾向之間存在差距。

但大多數不法分子本身就存在心理問題，從定義上講，他們的行為就是不可預測且非理性的。

或許生物襲擊之所以不具吸引力，是因為它們很可能使施暴者自身感染，它們不符合許多暴力個人或團體所抱有的軍事化幻想，而且很難有選擇地鎖定特定目標。

也可能是因為，即使有人工智能指導，實施生物襲擊也需要數月時間，這需要極大的耐心，而大多數精神不穩定的人根本缺乏這種耐心。

但這似乎是一種非常脆弱的保護措施。精神異常的獨行者的動機可能出于任何原因或無任何原因而改變。

我不認為生物襲擊會在技術廣泛應用后立即發生。事實上，我對此持懷疑態度。但考慮到數百萬人口和幾年時間，我認為發生大規模襲擊的風險確實很高，而且后果將極其嚴重。

4.生物風險的防范措施

我們別無選擇，只能采取切實有效的措施來預防此類襲擊。防范這些風險，可以做以下三件事。

首先，人工智能公司可以為其模型設置防護措施，防止它們被用于制造生物武器。

其次，應該從透明度要求入手。這些措施有助于社會衡量、監測并共同抵御風險，同時避免以強硬手段擾亂經濟活動。

一旦我們達到更清晰的風險閾值，就可以制定更精準地針對這些風險并降低附帶損害風險的法律。

最后，嘗試開發針對生物攻擊本身的防御機制。

這可能包括監測和追蹤以便早期發現、投資空氣凈化研發、快速開發能夠應對和適應攻擊的疫苗、更好的個人防護裝備（ PPE ）等，以及針對一些最有可能的生物制劑的治療方法或疫苗。

盡管生物因素目前是最嚴重的攻擊途徑，但還有許多其他途徑，而且未來可能出現更危險的途徑。

如果不采取應對措施，人工智能很可能會不斷降低其進行大規模破壞活動的門檻，人類必須認真應對這一威脅。

四、權力濫用的政治性風險

相比個人和小團體利用強大人工智能系統進行大規模破壞的風險，我們更應該擔心人工智能由更大規模、更強實力的勢力以攫取權力所濫用。

目前的專制政權由于需要依靠人類來執行命令，其鎮壓手段受到限制，而人類的殘忍程度往往也是有限的。但人工智能賦能的專制政權則不受這些限制。

更糟糕的是，各國還可能利用其在人工智能領域的優勢來攫取其他國家的權力。

如果這個“天才之國”完全被某個（ 人類 ）國家的軍事機構所掌控，而其他國家又不具備同等能力，那么它們很難自衛：它們會處處受挫，就像人類與老鼠之間的戰爭一樣。

將這兩種擔憂結合起來，就引出了一個令人震驚的可能性：全球極權獨裁統治的出現。

1.權力濫用的主要途徑

人工智能可以通過多種方式助長、鞏固或擴張獨裁統治，但我將列舉一些我最擔憂的方面。需要注意的是，其中一些應用具有合理的防御用途，我并非絕對反對它們；但我仍然擔心，它們在結構上傾向于有利于獨裁統治。

①全自動武器

想象一下：數百萬甚至數十億架全自動武裝無人機，由強大的人工智能進行本地控制，并由更強大的人工智能在全球范圍內進行戰略協調，可能構成一支所向披靡的軍隊，既能擊敗世界上任何軍隊，又能通過跟蹤每個公民來鎮壓國內異議。

②人工智能監控

功能足夠強大的人工智能很可能被用來入侵世界上任何計算機系統，而且，他們還可以利用這種方式獲得的訪問權限，讀取并解讀全世界所有的電子通信。

一個強大的AI系統，通過分析數百萬人的數十億條對話，就能評估公眾情緒，發現正在形成的不忠勢力，并在其壯大之前將其扼殺。

③人工智能宣傳

如今的“人工智能精神病”和“人工智能女友”等現象表明，即使在目前的智能水平下，人工智能模型也能對人們產生強大的心理影響。

如果這些模型功能更加強大，能夠更深入地融入人們的日常生活，并能對人們的生活進行數月甚至數年的建模和影響，那么它們很可能能夠對許多人進行洗腦，使其接受任何預設的意識形態或態度。

④戰略決策

一個由眾多天才組成的國家，其數據中心可以為國家、團體或個人提供地緣政治戰略方面的建議，我們可以稱之為“虛擬俾斯麥”（ 筆記俠注：俾斯麥，德國一位鐵血首相，也是德國的首任首相 ）。它可以優化上述三種奪取政權的戰略，甚至可能開發出我尚未想到的其他戰略。

強大的AI有望大幅提升外交、軍事戰略、研發、經濟戰略以及許多其他領域的效率。這些技能中的許多對民主國家來說確實大有裨益，但任何人濫用這些技能的可能性依然存在。

2.誰最有可能濫用權力？

我擔心的是那些最容易接觸到人工智能、擁有最強大政治權力或有過鎮壓歷史的實體。

①民主國家

民主國家在人工智能領域具有競爭力。民主國家對某些人工智能驅動的軍事和地緣政治工具擁有正當的興趣，因為民主政府能夠最大程度地防止專制政權利用這些工具。

但我們不能忽視民主政府自身濫用這些技術的可能性。在一些民主國家，部分保障措施已在逐漸瓦解。

②人工智能公司

人工智能公司掌控著大型數據中心，訓練著前沿模型，擁有運用這些模型的頂尖專業知識，在某些情況下，它們甚至每天都與數千萬乃至數億用戶保持聯系，并有可能對他們施加影響。

它們最缺乏的是國家所擁有的合法性和基礎設施。因此，構建人工智能獨裁統治所需的許多工具，對人工智能公司而言，要么是非法的，要么至少會令人極為懷疑。

但有些事情并非完全不可能，所以人工智能公司的治理結構值得嚴格審查。

3.反駁性觀點

針對這些威脅的嚴重性，存在一些可能的反駁論點，我真希望自己能相信這些論點，因為人工智能賦能的威權主義令我感到恐懼。因此，值得我們仔細審視并逐一回應這些論點。

首先，有些人可能會寄希望于核威懾，尤其是在應對人工智能全自主武器被用于軍事征服方面。

但強大的人工智能可能找到探測和打擊核設施的方法，或者運用網絡能力對核運營設施發動攻擊。退一步講，核威懾可能有效，但風險似乎太高。

其次，有人認為可以采取一些反制措施對待專制工具。譬如同樣用無人機、網絡防御等方法進行對抗。

但這些防御措施只有在擁有同樣強大的人工智能的情況下才有可能實現。因此，反制措施的問題最終歸結為強大人工智能領域的力量平衡問題。

這會導致一種失控優勢的風險，即當前在強大人工智能領域領先的者可能會進一步擴大其領先優勢，并且難以被追趕。

第三，我們必須堅決抵制民主國家濫用人工智能的行為。

必須限制政府使用人工智能的范圍，而隨著人工智能系統變得越來越強大，可能需要建立更直接、更及時的監督機制，以確保它們不被濫用，這或許需要行政部門以外的其他政府部門參與。

最后一點，人工智能公司及其與政府的關系都應受到密切關注。

這種關系固然必要，但必須有所限制和界限。

強大的人工智能所蘊含的龐大能力，使得旨在保護股東利益、防止欺詐等常見濫用行為的普通公司治理模式，難以勝任對人工智能公司的監管。

此外，公司公開承諾不采取某些行動，例如個人以不受監管的方式使用大量計算資源，或利用其人工智能產品進行宣傳以操縱輿論，也可能具有重要意義。

危險來自四面八方，而且某些方向之間還存在沖突。 唯一不變的是，我們必須為所有人尋求問責制、規范和保障措施，同時賦予“好”行為者權力，以制約“壞”行為者。

五、經濟風險及防御措施

假設前面的幾個風險得以解決，那么下一個問題就是經濟層面。

科學研究、生物醫學創新、制造業、供應鏈、金融體系效率等方面的進步，幾乎可以肯定地會帶來更快的經濟增長速度。

顯而易見，這是一把雙刃劍：在這樣的世界里，大多數人類的經濟前景如何？

新技術往往會給勞動力市場帶來沖擊，過去人類總能從中恢復過來，但我擔心這是因為以往的沖擊只影響了人類全部能力的一小部分，為人類拓展到新的領域留下了空間。

人工智能的影響范圍更廣，速度也更快，因此我擔心，要讓一切順利進行將更具挑戰性。

我主要擔心兩個問題：勞動力市場崗位流失和經濟權力集中。

1.就業崗位流失風險

我曾預測，即使人工智能會加速經濟增長和科技進步，但在未來1-5年內，它仍可能取代一半的入門級白領工作。

這個觀點引發了公眾對此的討論，有很多人贊同，但也有人反駁，因此，我將詳細闡述為何有此擔憂。

①技術替代的基本邏輯

了解勞動力市場通常如何應對技術進步至關重要。

當一項新技術出現時，首先會提高人類特定工作的某些環節的效率。

例如工業革命初期，改良的農具讓農民在某些環節效率更高，這提高了農民的生產力，進而增加了他們的收入。

而下一步，部分農業工作將完全由機器完成，人類完成工作的比例越來越低，但其工作卻變得越來越有價值，形成更好的互補性。

最終，機器將包攬一切或幾乎所有工作。

此時，農業作為一種人類就業形式確實會急劇衰落，這可能會在短期內造成嚴重的社會動蕩。但由于農業只是人類眾多有用活動之一，人們最終會轉向其他工作，例如操作工廠機器。

因此，并不存在固定的“勞動力總量”，只有不斷增強的用越來越少的資源創造越來越多價值的能力。人們的工資隨著GDP呈指數級增長而增長，一旦短期內的干擾過去，經濟就能保持充分就業。

②人工智能顛覆了新舊技術替代邏輯

人工智能與以往所有的技術完全不同，發展軌跡不再有跡可循。

其一，速度。

人工智能的發展速度遠超以往任何一次技術革命。隨著人工智能編碼模型的不斷完善，人工智能的開發速度也日益加快，這種變化速度甚至可能還會繼續加快。

需要明確的是，速度本身并不意味著勞動力市場和就業最終不會復蘇，它只意味著與以往的技術相比，短期轉型將會異常艱難，因為人類和勞動力市場的反應和平衡速度都比較慢。

其二，認知廣度。

人工智能將能夠掌握非常廣泛的人類認知能力，或許是所有認知能力。

這與以往的技術，例如機械化農業、交通運輸甚至計算機，都截然不同。這將使人們更難從被取代的工作崗位輕松轉型到適合自己的類似工作崗位。

人工智能越來越接近人類的一般認知能力，這意味著它也能勝任那些通常會因為舊工作被自動化而產生的新工作。 換句話說，人工智能不是取代特定的人類工作，而是取代人類的一般勞動力。

其三，彌補差距的能力。

面對新技術，人類工作通常會做出調整，新技術即便看似直接取代了人類，也往往存在不足之處。但人工智能不僅發展迅速，而且適應能力也很強，模型早期的缺陷很快就能得到解決。

③對就業崗位流失的質疑觀點

首先，有人認為經濟擴散速度會很慢，即使底層技術能夠勝任大部分人類勞動，它在整個經濟中的實際應用速度也可能慢得多。

技術擴散緩慢的確存在，但擴散效應僅僅是為我們爭取時間。

即便傳統企業采用新技術的速度較慢，初創公司也會如雨后春筍般涌現，使新技術的采用變得更加容易。如果這種方法行不通，初創公司甚至可能直接顛覆現有企業。

這可能導致這樣的局面：與其說是特定工作崗位受到沖擊，不如說是大型企業整體受到沖擊，并被勞動密集度低得多的初創企業所取代。

這還可能導致“地域不平等”加劇，全球財富日益集中在硅谷，將世界其他地區遠遠甩在后面。

所有這些結果都有利于經濟增長，但對勞動力市場和那些被時代拋在后面的人來說卻并非如此。

其次，有人認為人類的工作將轉移到現實世界，這完全避開了人工智能發展迅猛的“認知勞動”領域。

實際上，許多體力勞動已經由機器完成（ 例如制造業 ），或者即將由機器完成（ 例如駕駛 ）。此外，足夠強大的人工智能將能夠加速機器人的發展，并最終控制這些機器人在現實世界中的運行。

即便這種顛覆僅限于認知任務，它仍然會是一場前所未有的巨大而迅速的變革。

第三，或許有些任務本身就需要或能從人際互動中獲益良多。但人工智能已被廣泛應用于客戶服務，成為不爭的事實。

第四，有人可能會認為比較優勢仍然能夠保護人類。

根據比較優勢定律，即使人工智能在所有方面都優于人類，人類和人工智能技能組合之間的任何相對差異都會為人類和人工智能之間的貿易和專業化創造基礎。

但如果人工智能的生產力比人類高出數千倍，這種邏輯就開始失效。即使交易成本很小，也可能使人工智能與人類進行貿易變得不劃算。而且即使人類在技術上能夠提供某種價值，他們的工資也可能非常低。

所有這些因素都有可能得到解決，勞動力市場或許有足夠的韌性來適應如此巨大的沖擊。但即便最終能夠適應，上述因素也表明，短期沖擊的規模將是前所未有的。

2.就業崗位流失的防御性措施

首先，我們需要實時獲取關于就業崗位流失情況的準確數據。

當經濟變化發生得非常迅速時，很難獲得可靠的數據，而沒有可靠的數據，就很難制定有效的政策。

例如，目前政府數據缺乏關于企業和行業人工智能應用情況的細粒度、高頻次數據。

其次，人工智能公司在與企業合作的方式上擁有選擇權。

傳統企業的低效性意味著它們部署人工智能的路徑可能非常依賴既定模式，因此存在選擇更佳路徑的空間。

企業通常需要在“節約成本”（ 用更少的人做同樣的事情 ）和“創新”（ 用同樣數量的人做更多的事情 ）之間做出選擇。

市場最終必然會產生這兩種選擇，任何具有競爭力的人工智能公司都必須滿足其中一部分需求，但或許可以盡可能地引導企業走向創新，這或許能為我們爭取一些時間。

再次，公司應該思考如何關愛員工。

短期來看，在公司內部創造性地重新分配員工崗位或許是避免裁員的有效途徑。

長期來看，在一個財富總量巨大的世界里，許多公司由于生產力提高和資本集中而價值大幅增長，即使員工不再創造傳統意義上的經濟價值，繼續支付他們的薪酬也可能是可行的。

然后，富裕人士有義務幫助解決這個問題。

令我感到遺憾的是，許多富裕人士（ 尤其是在科技行業 ）近來抱持著一種憤世嫉俗、虛無主義的態度，認為慈善事業必然是欺詐或毫無用處。

最后，盡管上述所有私人行動都可能有所幫助。但最終如此龐大的宏觀經濟問題仍需政府干預。

面對巨大的經濟蛋糕和高度不平等，最自然的政策應對措施是累進稅制。稅收可以是普遍性的，也可以專門針對人工智能公司。

歸根結底，上述所有干預措施都是為了爭取時間。最終，人工智能將無所不能，我們必須應對這一挑戰。

3.經濟權力集中的風險

如果財富高度集中，少數人憑借自身影響力就能有效控制政府政策，而普通公民由于缺乏經濟影響力而無能為力，那么就會出現另一種權力喪失。

民主的根本在于，全體民眾對于經濟的運行至關重要。如果這種經濟影響力消失，那么民主的隱性社會契約就可能失效。

在正常情況下，財富積累確實能促進經濟增長，真正令人擔憂的是財富過度集中，這種過度集中最終會破壞社會。

此外，財富的經濟集中與政治體制的結合更令人擔憂。人工智能數據中心已經占美國經濟增長的很大一部分。

大型科技公司的經濟利益與政府的政治利益緊密地聯系在一起，這可能會產生扭曲的激勵機制。

我們已經從科技公司不愿批評美國政府以及政府支持對人工智能采取極端反監管政策中看到了這一點。

4.對經濟集中的防御措施

對此我們能做些什么？

首先，也是最顯而易見的，企業應該選擇不參與其中。

其次，人工智能產業需要與政府建立更健康的關系，是一種基于實質性政策參與而非政治結盟的關系。

第三，宏觀經濟干預措施，以及私人慈善事業的復興，有助于平衡經濟天平，從而同時解決就業崗位流失和經濟權力集中的問題。

六、間接效應：

所有的未知風險

這一部分涵蓋了所有未知的未知因素，特別是人工智能積極發展及其帶來的科學技術整體加速進步可能間接導致的問題。

假設我們解決了之前描述的所有風險，并開始享受人工智能帶來的益處，我們很可能“將一個世紀的科學和經濟進步壓縮到十年”，這對世界來說無疑是巨大的利好。

但與此同時，我們也必須應對這種快速發展帶來的問題，而這些問題可能會迅速出現。

此外，我們還可能遇到其他一些因人工智能發展而間接產生、難以預先預測的風險。

由于未知因素眾多，不可能列出詳盡的清單，我僅列出三個可能存在的問題作為示例。

1.生物學的飛速發展

如果我們能在短短幾年內取得一個世紀的醫學進步，人類的壽命或許會大幅延長，甚至有可能獲得一些顛覆性的能力，例如提升人類智力或徹底改造人類生物學。

這些都將是人類能力領域的巨大變革，而且發生得非常迅速。如果以負責任的方式進行，這些變革可能會帶來積極的影響。

但始終存在著風險，例如，如果提升人類智力的努力也導致人類變得更加不穩定或更加追求權力。

2.人類思維數字化

此外，還有“上傳”或“全腦模擬”的問題，即用軟件實現的數字化人類思維，這或許有一天能夠幫助人類超越自身的生理局限，但其中也蘊含著令我不安的風險。

人工智能正以一種不健康的方式改變著人類的生活。一個擁有數十億比人類聰明得多的智能體的世界，將會是一個非常怪異的世界。

強大的人工智能會不會發明某種新的宗教并讓數百萬人皈依？大多數人會不會最終以某種方式“沉迷”于與人工智能的互動？

人們最終會不會淪為人工智能系統的“傀儡”，人工智能會監視他們的一舉一動，并時刻告訴他們該做什么、該說什么，從而讓他們過上“美好”的生活，但缺乏自由和成就感？

確保人工智能模型真正以用戶的長遠利益為重，以一種有識之士能夠認可的方式，而不是以某種微妙的扭曲方式，這一點至關重要。

3.人類的意義

在人工智能日益強大的世界中，人類生活將如何整體改變。在這樣的世界里，人類還能找到意義和價值嗎？

我認為這取決于態度：人類的意義并不取決于是否在某個領域做到世界頂尖，人類可以通過自己熱愛的故事和項目，在漫長的歲月中找到意義。

我們只需要打破經濟價值創造與自我價值和意義之間的聯系。但這需要社會經歷轉型，而轉型過程中也始終存在著我們無法妥善應對的風險。

結語

人類面臨真正的考驗

讀到這里，或許會讓人覺得我們正身處一個令人畏懼的境地。

我們面臨的困境也的確錯綜復雜。人工智能從多方面威脅著人類，各種危險之間存在著真正的張力： 如果我們不極其謹慎地權衡利弊，緩解某些危險反而可能導致其他危險的加劇。

風險的數量之多，包括未知風險，以及我們需要同時應對所有這些風險，構成了人類必須面對的艱巨挑戰。

過去幾年已經清楚地表明，停止甚至大幅減緩這項技術的發展從根本上來說是站不住腳的。

它的誕生或許在人類發明晶體管的那一刻就已經不可避免，甚至可能更早，在我們學會控制火的時候就已經注定了。

如果一家公司不開發它，其他公司也會以幾乎同樣快的速度開發出來。人工智能蘊藏著巨大的經濟利益（ 每年高達數萬億美元 ），以至于即使是最簡單的措施也難以克服人工智能固有的政治經濟因素。

盡管困難重重，但我相信人類自身擁有通過這場考驗的力量。未來的歲月將無比艱難，對我們的要求遠超我們自身的能力。

但作為一名研究者、領導者和公民，我見證了無數勇氣和高尚品格，足以讓我堅信我們能夠戰勝困難，即使身處最黑暗的境地，人類也總能在看似最后一刻的力量和智慧中凝聚起勝利的希望。我們刻不容緩。

參考資料：

1.Anthropic首席執行官：技術的青春期：直面和克服強大AI的風險 21世紀關鍵技術。

*文章為作者獨立觀點，不代表筆記俠立場。

我們深嵌于一個政治、經濟、科技、哲學都在經歷持續變革和深刻重塑的復雜社會與商業系統之中。

在前所未有的復雜系統性變革中，我們需要的是理解世界底層的“元能力”。

面向AI新時代，筆記俠PPE（哲學、政治學與經濟學）課程，正是為理解這樣的復雜系統而生：理解國際貿易與經濟政策、理解國際政治與治理模式、理解全球技術與科技范式、理解AI哲學和科技經濟、理解文明進程與哲學意義。

這是第五代企業家應有的一套“操作系統”。

筆記俠PPE課程26級招生現已啟動。駕馭技術、洞察世界、扎根中國、修煉心力，在應對時代重重挑戰中尋找決策底牌。

穿越變革的舊世界，找到時代的新大陸，從升級你的PPE決策底層開始。

歡迎你掃描下方海報二維碼，添加課程主理人咨詢詳情。

好文閱讀推薦：

“子彈筆記”是筆記俠的矩陣公眾號，聚焦職場效率追求、人際關系與高潛成長者，幫你3分鐘吃透核心觀點和方法論。歡迎關注～

分享、點贊、在看，3連3連！