AI大神伊利亞宣告 Scaling時代終結！斷言AGI的概念被誤導

11月26日，前OpenAI聯創兼首席科學家、SSI聯創兼首席科學家伊利亞·蘇茨克維（Ilya Sutskever）在接受采訪時做出重磅論斷：AI的擴展（Scaling）時代已經終結！

整場播客長達1小時36分鐘，在這場深度對話中，Ilya Sutskever提出，當下算力規模已經十分龐大，僅靠算力堆砌已經無法讓模型實現更大的突破，他直言：“我們正從擴展時代回歸到研究時代，如今只是擁有了更強大的計算機。”

當前，AI存在嚴重的“評估表現與現實應用脫節”割裂問題，Ilya Sutskever認為是因為其泛化能力不足。他提到了一個關鍵點，AI的一大瓶頸是沒有類似人類的感官和情緒等“價值函數”，因此提出嘗試通過預訓練讓模型獲得“情緒驅動的決策能力”，構建出關心所有“有情生命”的AI。

訪談核心信息如下：

1、泛化能力是AI發展的瓶頸：Ilya Sutskever認為，當前頂尖AI存在嚴重的“評估表現”與“現實應用”脫節，其核心問題在于模型的泛化能力遠不如人類。

2、人類的情緒相當于AI的“價值函數”：他提出顛覆性觀點：“情緒”是人類進化形成的、內置的“價值函數”，能為決策提供即時反饋，這是AI目前缺失的關鍵能力。

3、堆砌算力已無法突破，“擴展時代”已經終結：Ilya Sutskever認為，當下，以堆砌數據、算力為核心的“擴展時代”已經結束，AI發展正回歸“研究時代”，需要新范式突破。

4、人類擁有比AI更好的“學習算法”：人類在樣本效率和持續學習上的優勢，源于某種更根本、更優越的底層學習機制，而非僅僅是進化賦予的“先驗知識”。

5、SSI是純粹的“研究公司”：Ilya Sutskever透露，其創業公司SSI不參與算力競賽，其核心身份是一家專注于突破性研究的“研究時代”公司。

6、超級智能是“能學會做所有事”的智能：對于什么是超級智能這個問題，Ilya Sutskever將超級智能定位為一個“能夠學會做所有事”的成長型心智。

7、讓人們看到AI的強大，才能更好地治理：在AI治理方面，Ilya Sutskever主張通過“漸進式部署和公開展示”，讓人們親自感受AI的能力與風險。

8、應該構建“關心有情生命的AI”：Ilya Sutskever認為，業界應該構建關心所有“有情生命”的AI，他認為這比只關心人類更根本，也更簡單。

9、預訓練導致模型趨同：Ilya Sutskever認為，預訓練是導致各公司模型同質化的根源，而強化學習才是產生差異化的路徑。

以下為Ilya Sutskever播客實錄（有刪減）：

編譯 | 王涵

轉載自 | 智東西

AI決策的困境

源于缺少情緒的“價值函數”

Dwarkesh Patel：人們提出過一些關于人類類比預訓練的說法。我很想聽聽你的看法，為什么它們可能是錯誤的。一種是把人生命最初的18年、15年或13年看作預訓練，這個階段他們不一定有經濟產出，但他們在做一些讓他們更好地理解世界之類的事情。另一種是把進化看作某種進行了30億年的搜索，最終產生了人類生命的實例。

我很好奇你是否認為這兩種說法中的任何一種與預訓練類似。如果不把人類畢生學習比作預訓練，你會如何看待它？

Ilya Sutskever：我認為這兩者與預訓練都有一些相似之處，而預訓練試圖扮演這兩者的角色。但我認為也存在一些很大的差異。預訓練的數據量是非常、非常驚人的。

Dwarkesh Patel：是的。

Ilya Sutskever：不知何故，人類即便只接觸了預訓練數據中極小的一部分，掌握的知識量遠不如模型，但對已知內容的理解卻深刻得多。哪怕是15歲的少年，也不會犯AI現在常犯的那些錯誤。

還有一點值得思考：這會不會和進化之類的機制有關？答案或許是肯定的，而且我認為進化在這方面可能更具優勢。神經科學家研究大腦的一種常用方法，是觀察大腦不同部位受損的人，他們常會表現出各種令人意想不到的奇特癥狀，這其實非常有趣。

我想到一個相關案例：有個人因中風或事故導致腦損傷，情緒處理能力被破壞，再也感受不到任何情緒。他依然口齒清晰，能解決簡單謎題，測試中表現得完全正常，但就是沒有了喜怒哀樂，也沒有了活力。這讓他的決策能力變得極差：選一雙襪子要花好幾個小時，還會做出糟糕的財務決策。

這一案例恰恰說明了內在情緒對我們成為“可行的行為主體”有多重要。回到你關于預訓練的問題：或許如果能從預訓練數據中充分提取所有有用信息，也能獲得這種類似“情緒驅動的決策能力”，但這種能力能否從預訓練中習得，目前還不確定。

Dwarkesh Patel：“那個”是指什么？顯然不直接是情感。它似乎像是某種幾乎像價值函數一樣的東西，告訴你任何決策的最終回報應該是什么。你認為那種東西不會從預訓練中隱式地產生嗎？

Ilya Sutskever：我認為有可能，我只是說這不是100%顯而易見的。

Dwarkesh Patel：但那到底是什么？你如何看待情感？情感的機器學習類比是什么？

Ilya Sutskever：它應該是某種價值函數類的東西。但我不認為有一個很好的機器學習類比，因為目前價值函數在人們所做的工作中并不扮演非常突出的角色。

Dwarkesh Patel：也許值得為聽眾定義一下什么是價值函數，如果你愿意的話。

Ilya Sutskever：當然，我很樂意展開說。目前強化學習訓練智能體的常規做法是這樣的：給神經網絡一個問題，讓模型去解決。模型可能要執行數千甚至數十萬次行動或思考，最終生成一個解決方案，這個方案會被評分。

而這個分數會作為訓練信號，應用到模型解決問題過程中的每一個行動上。這就意味著，如果任務本身耗時很長，比如訓練一個需要長時間才能完成的任務，模型在給出最終解決方案并獲得評分前，根本不會有任何學習進展。這是強化學習的樸素做法，據稱o1、R1采用的就是這種方式。

價值函數的作用則不同，它相當于“時不時（而非必須等到最后）告訴你當前做得好還是壞”。這個概念在某些領域比其他領域更有用，比如下棋時，你丟了一個棋子，顯然是出錯了，沒必要等到棋局結束，才知道剛才的行為是糟糕的，進而推導出導致這個錯誤的先前步驟也有問題。

價值函數能幫你縮短等待最終結果的時間。比如你在做數學題或編程任務，嘗試探索某個特定解決方案或方向，經過一千步思考后，發現這個方向完全沒希望。

一旦得出這個結論，你就能在一千步之前，也就是當初決定沿著這條路徑探索的時候，就獲得一個獎勵信號，相當于告訴自己“下次遇到類似情況，不該選這條路”，這比等到給出最終解決方案時再反饋要早得多。

Dwarkesh Patel：這在DeepSeek R1的論文中提到過——軌跡空間如此之廣，以至于可能很難學習從中間軌跡到價值的映射。而且考慮到，例如在編程中，你可能會有一個錯誤的想法，然后你會回溯，然后改變一些東西。

Ilya Sutskever：這聽起來像是對深度學習缺乏信心。當然這可能有難度，但深度學習沒有做不到的事情。我認為價值函數應該是有用的，完全期待它們現在或將來會被充分利用。

我提到那個情緒中樞受損的人，更多是想說明：人類的價值函數，或許是通過進化硬編碼的方式，由情緒進行重要調節的。而這一點，可能對人類在世界上有效行動至關重要。

Dwarkesh Patel：這正是我想問的。關于情感與價值函數的關聯，有件很有趣的事：情感既有極強的實用性，又相對易于理解，這一點非常令人印象深刻。

Ilya Sutskever：我有兩個回應。首先，我確實同意，比起我們所學的知識以及正在討論的這類AI，情感是相對簡單的。它們甚至簡單到能用人類易懂的方式描述出來，我覺得這會是件很酷的事。

但就效用而言，復雜性與魯棒性之間存在權衡：復雜的事物可能用處很大，但簡單的事物在極廣泛的場景下也同樣高效。我們的情感大多源自哺乳動物祖先，在進化為人科動物后只經歷了輕微微調。

當然，我們還擁有不少哺乳動物可能缺乏的社會性情感，但這些情感并不復雜。也正因為這份簡單，它們在如今這個與遠古截然不同的世界里，依然能很好地為我們服務。

不過情感也會出錯。比如我們的直覺饑餓感，我不確定饑餓算不算情緒，但在食物充裕的當下，它顯然沒能很好地指導我們的飲食選擇。

算力規模已觸頂

AI的未來重回“研究時代”

Dwarkesh Patel：人們總在談論擴展數據、擴展參數、擴展算力。有沒有更通用的視角來理解“擴展”？還有其他哪些可擴展的維度？

Ilya Sutskever：我認為有一個視角可能是正確的：機器學習過去的運作方式，是人們不斷嘗試各種方法，只為得到有趣的結果。

后來，“擴展”出現了。隨著擴展定律的提出和GPT-3的問世，所有人突然意識到“我們應該擴展”。這正是語言影響思維的典型例子：“擴展”只是一個詞，卻極具力量，因為它明確告訴了人們該做什么。于是大家紛紛行動：“讓我們嘗試擴展事物”。而你問“我們在擴展什么？”，答案在當時就是預訓練，它是一套特定的擴展配方。

預訓練的重大突破，核心在于證實了這套配方的有效性：只要將適量算力、數據與特定規模的神經網絡結合，就能產生成果；而且按比例放大這些要素，效果還會更好。企業尤其青睞這種方式，因為它提供了一種低風險的資源投入路徑。

相比之下，把資源投入研究要難得多。做研究需要這樣號召：“研究人員們，去探索并拿出新成果”，而獲取更多數據、更多算力則簡單直接得多。你能確定從預訓練中一定能有所收獲。

根據推特上的一些討論，Gemini似乎找到了從預訓練中挖掘更多價值的方法。但問題在于，預訓練終有耗盡數據的一天，數據的有限性是顯而易見的。到那時該怎么辦？要么進行某種強化版預訓練，一套與以往不同的配方；要么轉向強化學習，或者嘗試其他方向。

而現在，算力已經達到了前所未有的規模，從某種意義上說，我們又回到了需要依賴研究的時代。

換種說法或許更清晰：2012年到2020年（允許一定誤差范圍），是研究的時代；2020年到2025年左右，則是擴展的時代。因為所有人都在說“這太神奇了，必須繼續擴展、不斷擴展”，核心就圍繞 “擴展” 這一個詞。

但如今規模已經足夠龐大，還有人堅信“即便現在規模很大，只要再投入100倍資源，一切就會徹底不同”。不可否認，結果肯定會有變化，但要說僅靠擴大100倍規模就能帶來質變，我并不認同。

所以，我們其實是回到了研究的時代，只是如今擁有了更強大的計算機。

Dwarkesh Patel：這是個非常有趣的說法。但我還是想問剛才提出的問題：我們在擴展什么，擁有一個“配方”意味著什么？我想我并不清楚在數據、算力、參數、損失是否存在一個非常清晰、幾乎像物理定律一樣的關系，就像在預訓練中存在的那樣。我們應該尋求的是哪種關系？我們應該如何思考這個新配方可能是什么樣子？

Ilya Sutskever：我們已經看到擴展方向的轉變：從預訓練轉向了強化學習，現在人們正在著力擴展強化學習。根據推特上的討論，目前強化學習消耗的算力甚至超過了預訓練，因為強化學習需要進行極長的推演，生成這些推演本身就需要大量算力，而每次推演能帶來的學習收益又相對有限，因此確實會耗費巨額算力。

但我甚至不覺得這能稱之為“擴展”。我更想問：“你現在做的事情，是利用算力最高效的方式嗎？有沒有更具成效的算力使用方法？”我們之前聊過價值函數，或許當人們熟練運用價值函數后，就能更高效地利用資源。如果能找到全新的模型訓練方法，你可能會疑惑：“這算擴展，還是只是合理利用資源？”我認為這個邊界已經變得有些模糊。

從這個角度來說，當我們回歸研究時代，情況會是這樣：“讓我們試試這個、這個和這個，再試試那個、那個和那個——哦，看，有趣的現象出現了。”我認為行業將會回到這種探索狀態。

Dwarkesh Patel：如果真的回歸研究時代，退一步說，我們最需要深入思考現有配方的哪個部分？你提到了價值函數，現在人們已經在現有配方中嘗試相關應用，比如“LLM-as-a-Judge”等。你可以說這也算一種價值函數，但聽起來你心里想的是更根本的東西。我們是否應該徹底重新思考預訓練，而不只是在流程末尾添加更多步驟？

Ilya Sutskever：關于價值函數的討論很有意思。我想強調，價值函數會讓強化學習更高效，這一點很重要。但我認為，任何用價值函數能做到的事，沒有它也能實現，只是速度會慢很多。最核心的問題是，這些模型的泛化能力遠遠不如人類。這一點非常明顯，也是個極其根本的問題。

人類擁有更好的“學習算法”

這是AI尚未掌握的優勢

Dwarkesh Patel：那核心就在于泛化能力。這可以拆成兩個子問題：一是樣本效率，為什么模型學習所需的數據量比人類多得多？

二是拋開數據量不談，為什么教會模型我們想要的東西，比教會人類難得多？對人類來說，我們不一定需要可驗證的獎勵，比如你現在可能正在指導一些研究人員，只需和他們交流、展示代碼和思考方式，他們就能領悟你的思路和做研究的方法。

你不需要為他們設定繁瑣的定制化流程，比如“這是課程的下一部分，現在開始；哦，這次訓練不穩定，重新調整”。這兩個問題可能存在關聯，但我更想探討第二個，因為它更接近持續學習，而第一個問題則聚焦樣本效率。

Ilya Sutskever：關于人類的樣本效率，有一個可能的解釋是進化。進化賦予了我們一些最有用的基礎信息。對于視覺、聽覺和運動等能力，有充分理由認為進化給了我們很多先天優勢。

比如人類的靈巧度遠超現有技術。就算讓機器人在模擬環境中大量訓練，它們能變得靈巧，但在現實世界中讓機器人像人類一樣快速掌握新技能，似乎還遙不可及。

這里可以說：“運動能力對我們所有祖先都至關重要，所以在運動方面，我們可能擁有難以置信的先天先驗知識。”

視覺領域也可以用同樣的邏輯解釋。我記得楊立昆（Yann LeCun）說過，孩子只需10小時練習就能學會開車，我們的視覺系統非常強大。

至少我五歲時就對汽車極度著迷，我敢肯定當時我的汽車識別能力已經足以支撐駕駛。一個五歲孩子接觸的數據量并不多，大部分時間都待在父母家，數據多樣性很低，但視覺能力已經很出色。

但這可能也是進化的結果，而語言、數學和編程領域，情況或許就不同了。

Dwarkesh Patel：但人類在這些領域的學習能力似乎仍然優于模型。顯然，模型在語言、數學和編程上比普通人表現更好，但它們的學習能力也比普通人強嗎？

Ilya Sutskever：不，顯然不是。我的意思是，語言、數學和編程，尤其是后兩者，說明，讓人擅長學習的關鍵，可能不是復雜的先天先驗知識，而是某種更根本的東西。

Dwarkesh Patel：為什么會是這樣？

Ilya Sutskever：想想人類表現出高度可靠性的技能。如果這項技能在數百萬年甚至數億年間，對我們的祖先都至關重要，你可以說人類擅長它是因為進化，我們擁有進化而來的先天先驗知識，以某種不顯而易見的方式編碼，讓我們天生擅長這項技能。

但如果人類在一個最近才出現的領域（比如數學、編程），依然表現出強大的能力、可靠性、魯棒性和學習能力，那就更能說明，人類可能只是擁有更好的機器學習機制，就這么簡單。

Dwarkesh Patel：我們該如何理解這種機制？它對應的機器學習類比是什么？

它有幾個有趣的特點：需要的樣本更少，更接近無監督學習。比如青少年學開車，他們不是在接受預設的、可驗證的獎勵，而是通過與機器和環境的互動學習，所需樣本量少得多，看起來更接近無監督學習，而且魯棒性更強？

Ilya Sutskever：魯棒性強得多，人類的魯棒性確實令人震驚。

Dwarkesh Patel：你有統一的思路解釋為什么這些特點會同時存在嗎？什么樣的機器學習類比能實現類似效果？

Ilya Sutskever：你一直問的問題是，青少年司機如何在沒有外部教師的情況下自我糾正、從經驗中學習？答案是他們有自己的價值函數，一種通用的感知，而且這種感知在人類中極其魯棒。除了成癮等少數例外，人類的價值函數實際上非常、非常可靠。

比如青少年開始開車時，立刻就能感知到自己開得怎么樣、有多糟糕、有多不自信。然后他們會觀察、調整，學習速度非常快，10個小時后就能上路行駛。

Dwarkesh Patel：人類顯然已經有了這樣的解決方案，但我好奇他們是如何做到的，以及為什么這對AI來說如此困難？我們需要如何重新定義模型的訓練方式，才能實現類似的效果？

Ilya Sutskever：這是個很好的問題，我對此有很多看法。但不幸的是，我們所處的環境并不允許自由討論所有機器學習想法，這就是其中之一。很可能存在實現的方法，我認為這是可行的，人類本身的存在就證明了這一點。

不過可能還有一個障礙：人類的神經元可能比我們想象的進行了更多計算。如果這是真的，而且起到了重要作用，那么事情可能會更困難。但無論如何，我確實認為這指向了某種機器學習原理的存在，我對此有一些見解，但可惜的是，環境不允許我詳細討論。

SSI只專注于研究，在“直奔超智能”與“漸進部署”間尋找平衡點

Dwarkesh Patel：我很好奇，你說我們回到了研究時代，而你2012到2020年就身處那個階段。如果真的回歸，現在的氛圍會是怎樣的？

比如，即便AlexNet之后，實驗所需的計算量仍在不斷增加，前沿系統的規模也在擴大。你覺得現在這個研究時代，依然需要巨大的計算量嗎？是否需要回溯舊論文、挖掘過往研究？

你曾在谷歌、OpenAI、斯坦福這些地方待過，經歷過研究氛圍更濃厚的時期。我們該對現在的科研社區抱有怎樣的期待？

Ilya Sutskever：擴展時代的一個后果是，“擴展”吸走了所有關注。因為所有人都聚焦于此，大家開始做同樣的事情。到最后，市場上的公司數量甚至超過了真正有價值的想法數量。硅谷有句諺語說“想法廉價，執行力才是一切”，這話有道理，但我也看到有人在推特上反問“如果想法真的廉價，為什么現在沒人有好想法？”，我覺得這也說到了點子上。

從瓶頸角度看，研究進展受兩個因素制約：一是想法，二是實現想法的能力，這包括算力和工程能力。比如回到90年代，當時人們其實有不少好想法，但苦于沒有足夠強大的計算機驗證，只能做小規模演示，無法說服他人，所以那時的瓶頸是算力。

而到了擴展時代，算力大幅增長。雖然仍有“需要多少算力”的疑問，但如今的算力已經足夠支撐想法驗證。舉個例子，AlexNet只用了兩塊GPU，Transformer的實驗也只用到8到64塊2017年的GPU，換算到現在大概也就兩塊GPU的性能。甚至o1的推理過程，也算不上計算量最大的操作。

所以，研究確實需要一定算力，但絕非必須用到有史以來最頂級的算力。當然，如果你想構建當前最優的系統，更多算力會有幫助——尤其是在大家都處于同一范式下時，算力會成為核心競爭優勢之一。

Dwarkesh Patel：我想請教這段歷史，因為你親身經歷過。聽起來當時用較少的計算量就能發展核心想法，但Transformer并沒有立刻走紅。它之所以成為大家爭相實驗、構建的基礎，是因為在越來越高的計算量水平上得到了驗證，對嗎？

Ilya Sutskever：沒錯。

Dwarkesh Patel：如果SSI有50個不同的想法，在沒有其他前沿實驗室那樣的算力支持下，怎么判斷哪個是下一個Transformer，哪個只是脆弱的構想？

Ilya Sutskever：我可以說說我的看法。簡單來說，SSI用于研究的計算量其實并不小，背后的邏輯很簡單。

SSI已經籌集了30億美元（約合人民幣213.1億元），這絕對是一筆巨款。你可能會說“其他公司籌集的資金更多”，但要知道，那些公司的很多算力都用于推理任務，大額資金也常指定用于推理。

而且，若要推出需要推理支持的產品，還需要大量工程師、銷售人員，很多研究資源也得投入到產品相關功能的開發中。所以，扣除這些之后，真正留給核心研究的資源差距，并沒有表面上那么大。

另外，如果你在做的是差異化的事情，真的需要用頂級規模來驗證嗎？我完全不這么認為。對我們來說，現有的算力足夠讓我們自己，也讓其他人相信我們做的事情是正確的。

Dwarkesh Patel：有公開估計稱，像OpenAI這樣的公司，每年僅實驗方面的花費就有50到60億美元（約合人民幣355.2億元到426.2億元），這還不包括推理等其他開支。也就是說，他們一年的研究實驗花費，比你們的總資金還多。

Ilya Sutskever：這取決于資金的用途。他們以及其他類似公司，對訓練算力的需求要大得多——涉及更多工作流、更多模態，要做的事情更繁雜，資源自然就分散了。

Dwarkesh Patel：SSI將如何盈利？

Ilya Sutskever：我的回答是，目前我們只專注于研究，盈利的答案會隨著研究推進自然顯現。我相信會有很多可行的方向。

Dwarkesh Patel：SSI的計劃仍然是直奔超級智能嗎？

Ilya Sutskever：也許吧。我認為這有其價值——不受日常市場競爭的干擾，能專注研究，這是很大的優勢。但有兩個原因可能讓我們改變計劃：一是務實考量，如果實現超級智能的時間線比預期長得多；二是，讓強大的AI問世并影響世界，本身就是一件極具價值的事。

Dwarkesh Patel：那為什么你們的默認計劃是直奔超級智能？OpenAI、Anthropic等公司的思路很明確：“先推出較弱的AI，讓公眾逐漸適應、做好準備”。直接構建超級智能，為什么可能是更好的選擇？

Ilya Sutskever：我來分析一下利弊。支持直奔超級智能的理由是，市場競爭會帶來巨大壓力，迫使你做出艱難權衡。如果能隔離這些干擾，專注研究，直到準備充分再推出產品，而不是倉促上陣，這是很大的優勢。

但反對的理由也同樣成立：“讓世界看到強大AI的實際用處，是推廣它的唯一方式”。

Dwarkesh Patel：我覺得不止是推廣……

Ilya Sutskever：是“傳播AI”，不是傳播想法，是讓AI真正落地。

Dwarkesh Patel：你說的“傳播AI”是什么意思？

Ilya Sutskever：假設你寫了一篇關于AI的文章，描述它會怎樣、能做什么，讀者可能只會覺得“這篇文章很有趣”。但如果人們親眼看到AI正在做這些事、實現這些功能，那種沖擊力是無可比擬的。所以我認為，讓AI公開落地有很大好處，這也是我們可能不會完全“直奔超級智能”的原因之一。

Dwarkesh Patel：我覺得還有更深層的原因。在人類其他工程和研究領域，沒有哪個最終產物是僅憑“思考如何讓它更安全”就變得安全的。比如現在每英里的飛機失事率比幾十年前低得多，Linux系統的漏洞比以前難發現得多，核心原因都是這些系統被廣泛部署到現實世界中——人們發現故障、糾正問題，系統才變得更健壯。

我不認為AGI和超人類智能會是例外，尤其是考慮到（我希望之后能討論這個話題），超級智能的危害可能不只是“惡意回形針優化器”那么簡單。它是一種極其強大的存在，我們甚至無法想象人們會如何與它互動、用它做什么。逐步接觸它，似乎是分散風險、幫助人們做好準備的更好方式。

超級智能會“在實踐中學習”

Ilya Sutskever：關于這一點，我認為即使是“直奔超級智能”的方案，也會包含逐步發布的過程，這是計劃中固有的一部分。關鍵在于，你首先發布的是什么。

其次，你一直倡導的“持續學習”，我認為非常重要且正確。這里可以用“語言如何影響思維”來解釋——有兩個術語塑造了大家的認知：AGI（人工通用智能）和“預訓練”。

先說說AGI這個術語。它的出現其實是對“狹義AI”的回應。回溯歷史，早期的跳棋AI、國際象棋AI、游戲AI，雖然能在特定領域表現出色（比如擊敗卡斯帕羅夫），但功能極其單一，被稱為“狹義AI”。于是有人提出，我們需要的是“通用AI”——一個能勝任所有事情的AI，這個術語也因此受到廣泛關注。

再看“預訓練”，尤其是預訓練的核心配方。現在人們做強化學習的方式，可能正在淡化預訓練留下的認知烙印，但預訓練有個特點：投入越多，模型在各方面的表現都會或多或少均勻提升。“預訓練催生AGI”的觀念也隨之深入人心。

但問題在于，AGI和預訓練的邏輯在某種意義上“超出了目標”。如果你結合預訓練的背景思考AGI，會發現人類其實并不是AGI——我們確實有基礎技能，但缺乏大量專業知識，反而極度依賴持續學習。

所以，假設我們成功造出了安全的超級智能，該如何定義它？它在持續學習的曲線上會處于什么位置？

我想象中的超級智能，就像一個15歲的少年，求知欲強、渴望工作，但懂得并不多，卻是個優秀的學習者。它會像人類一樣，去當程序員、當醫生，在實踐中學習。因此，部署本身就會包含一個試錯學習的過程，它不是一個“成品”，而是一個“成長型”存在。

Dwarkesh Patel：我明白了。你說的超級智能，不是一個已經掌握經濟中所有工作技能的成品心智——比如早期OpenAI章程中對AGI的定義是“能做人類所有工作”，而你提出的是“能夠學會做所有工作”的心智，這才是超級智能。

Ilya Sutskever：是的。

Dwarkesh Patel：一旦有了這種學習算法，它就會像人類勞動者加入組織一樣，被部署到世界中。

Ilya Sutskever：完全正確。

Dwarkesh Patel：這可能會帶來兩種結果，也可能都不會發生。第一，這個高效的學習算法變得超人類，在機器學習研究領域達到甚至超越你的水平，進而推動自身不斷進化，變得越來越強。

第二，即便沒有發生這種情況，如果你有一個單一模型（這是你明確提出的愿景），它的多個實例被部署到經濟的不同領域，從事不同工作，在實踐中持續學習、掌握所有人類能掌握的技能，同時整合所有學習成果——那么即便沒有軟件層面的遞歸自我改進，這個模型在功能上也會成為超級智能。畢竟人類無法像這樣整合彼此的心智。

你認為廣泛部署會引發某種“智能爆炸”嗎？

Ilya Sutskever：我認為我們很可能會經歷快速的經濟增長。對于廣泛部署，有兩個相互沖突的論點：一方面，一旦擁有能快速學習的AI，且沒有法規限制（當然法規可能會存在），市場會有強大的動力推動它們的部署。

通過廣泛部署實現快速經濟增長，我認為是非常可能的。但增長速度有多快，很難預測。一方面，我們有了高效的“勞動者”；另一方面，世界規模龐大，各類事務的發展速度不同。而且不同國家的規則可能不同，規則更友好的國家，經濟增長可能會更快。這些都難以預判，但快速增長是大概率事件。

應該構建“關心有情生命”的AI

Dwarkesh Patel：在我看來，這是一種非常不穩定的局面。從極限角度看，我們知道這種情況是可能的：如果有一個學習能力和人類相當，但能以人類無法做到的方式整合不同實例的“大腦”，它在物理層面是可行的——人類和數字計算機都是現實存在的，只需將兩者的優勢結合就能實現。

它的潛力也極其強大。“經濟增長”只是一種說法，戴森球本質上就是極致的經濟增長。但更直接的是，它可能在極短時間內爆發式進化：SSI雇傭的員工大概六個月后能產生凈生產力，人類學習速度已經很快了，而這個“東西”的進化速度會快得多。你如何看待讓這個過程平穩推進？為什么SSI有能力做好這件事？這正是我想知道的SSI的相關計劃。

Ilya Sutskever：我思維上的一個轉變是，現在更重視AI的漸進式部署和提前落地。關于AI，一個核心難題是我們討論的都是尚未存在的系統，很難真正想象它們的形態。

我認為，人們很難真正“感知”AGI。我們可以談論它，但就像年輕時談論年老的感受一樣——能對話、能嘗試想象，卻始終無法真切體會，直到親身經歷。

圍繞AGI及其未來力量的諸多疑問，根源都在于它太難以想象了。未來的AI會截然不同，它將極具力量，而AI和AGI的核心問題，本質上就是“力量”的問題。

當力量達到極致時，會發生什么？過去一年我想法的一個轉變（這個轉變可能會反過來影響公司計劃）是：如果無法想象，就必須展示。我堅信，大多數從事AI工作的人也無法真正想象它，因為它和我們日常所見的一切都太不一樣了。

我還有一個預測：隨著AI變得更強大，人們的行為會發生改變，會出現各種前所未有的情況。比如，無論好壞，前沿公司和政府將在其中扮演關鍵角色；你已經能看到一些苗頭——激烈競爭的公司開始在AI安全領域合作，OpenAI和Anthropic已經邁出了第一步，這是我三年前在演講中就預測過的。

我還認為，當AI的強大變得更顯而易見時，政府和公眾會更有意愿采取行動，而“展示AI”正是推動這一切的重要力量。

第二點，AI正在被構建，我們需要做什么？目前，人們覺得AI不夠強大，很大程度上是因為它常犯錯誤。但我認為，當AI開始讓人真正感受到“強大”時，所有AI公司處理安全的方式都會發生巨大轉變——他們會變得極度謹慎。這是我的預測，我們可以拭目以待。現在大家對AI安全的重視不足，本質上是因為看著今天的AI，很難想象未來的AI會有多強大。

第三點，公司應該致力于構建什么？現在大家都執著于“自我改進的AI”，這只是因為有價值的想法太少了。但我認為存在更好的方向，而且最終所有人都會認同——那就是構建“穩健對齊、明確關心有情生命”的AI。

值得一提的是，構建關心所有有情生命的AI，可能比只關心人類的AI更容易，因為AI本身也可能是有情識的。就像人類的鏡像神經元和對動物的同理心（雖然強度有限，但確實存在），這可能是一種涌現屬性——用模擬自身的回路去模擬他人，這是最高效的方式。

Dwarkesh Patel：但即使讓AI關心有情生命，我不確定解決對齊問題后，這是否是該優先做的事，未來大多數有情生命可能都是AI——萬億、甚至千萬億個AI，人類只占極小一部分。如果目標是讓人類在未來文明中保持某種控制權，這似乎不是最好的標準。

Ilya Sutskever：確實，這可能不是最優標準。我說三點：第一，關心有情生命本身有其價值，值得被考慮；第二，如果能列出一份簡短清單，給出這類情況下公司可參考的方向，會很有幫助；第三，如果能以某種方式限制最強大超級智能的力量，將從根本上緩解許多擔憂。具體如何實現我不確定，但對于真正強大的系統來說，這至關重要。

Dwarkesh Patel：在討論對齊問題之前，我想深入聊聊：超級智能的上限在哪里？你如何定義它？基于“學習效率”的思路，它只是學習新技能、新知識的速度極快？還是擁有更龐大的策略庫？

它是否存在一個單一、凝聚的核心“自我”？如果存在，你覺得它相對于人類文明，會是類似“神”的存在，還是只是另一個智能體，或是智能體集群？

Ilya Sutskever：在這個領域，不同人有不同直覺。我認為它肯定會極其強大。最可能的情況是，多個這樣的AI會在大致相同的時間被創造出來。如果集群規模足夠大——比如達到大陸級別——它的力量會難以想象。我能說的是，對于這種級別的AI，如果能以某種方式約束它們，或者建立相關協議，會是一件好事。

超級智能的擔憂核心是什么？如果一個系統足夠強大，即使你讓它“專注關心有情生命”，最終結果也可能不是我們想要的——就是這么簡單。

順便說一句，答案可能是：不要以常規方式構建強化學習智能體。人類其實是“半強化學習智能體”——我們追求一個獎勵，然后情緒或其他因素讓我們厭倦，轉而追求另一個獎勵。

市場是短視的智能體，進化也是如此——在某些方面極其聰明，在另一些方面又非常愚蠢。

這個討論的難點在于，我們談論的是尚未存在、也不知道如何構建的系統。我堅信，現在人們正在做的事情會有進展，但最終會走向瓶頸——它會持續改進，但不會成為那個終極“它”。我們還不知道如何構建“它”，而關鍵就在于理解“可靠的泛化能力”。

還有一點：對齊困難的根源，可能是學習人類價值觀的能力很脆弱，優化這些價值觀的能力也很脆弱——而這些都是“不可靠泛化”的體現。為什么人類泛化能力更強？如果AI的泛化能力大幅提升，會發生什么？這些問題目前都沒有答案。

Dwarkesh Patel：人們如何設想AI的平穩發展？你已經勾勒了它的演變路徑：持續學習的智能體、極其強大、可能有多個不同的AI。你如何看待多個“大陸規模”的計算智能并存？這有多危險？我們如何降低風險？如何在保護某種均衡的同時推進——畢竟可能存在未對齊的AI和惡意行為者？

Ilya Sutskever：這就是我支持“關心有情生命的AI”的原因之一。我們可以爭論它的好壞，但如果前N 個具有決定性意義的系統真的關心、熱愛人類（或類似的價值導向），顯然能讓事情順利推進——當然，這需要實際實現。

但長期來看，如何實現均衡？我有一個答案，雖然我并不喜歡，但必須考慮。

短期內，強大AI普及的世界可能會實現“普遍高收入”，大家都過得很好。

長期均衡的一種可能：每個人都擁有一個聽從自己指令的AI，這很好——但如果這種狀態無限持續，人類會逐漸脫離參與：AI為人賺錢，人類只需說“很好，繼續”，最終不再是文明的參與者。這是一種不穩定的狀態。

我要提前說明，我不喜歡這個解決方案，但它確實是一個選項：讓人類通過某種“Neuralink++”技術，變成“半AI形態”。這樣一來，AI理解的事物，人類也能同步理解——認知是整體傳輸的。當AI處于某種場景時，人類也能完全參與其中，這可能就是均衡的答案。