Ilya重磅發聲：Scaling時代終結！自曝不再感受AGI

新智元報道

編輯：桃子 KingHZ

【新智元導讀】Ilya重磅訪談放出！1個半小時，全程2萬字，他爆出驚人觀點：Scaling時代已終結，我們正走向研究時代。

Scaling時代已終結！

Ilya一現身，金句必出。還記得NeurIPS 2024上，他曾向世界宣告：「預訓練時代終結」。

這一次，Ilya在鏡頭前平靜地說出這句話時，整個AI圈都屏住了呼吸——

我們已從Scaling時代，正走向研究時代。

在這場與著名主持人Dwarkesh Patel的深度訪談中，Ilya幾乎把當前AI研究最刺痛的真相揭開了：

不僅僅是預訓練，就連Scaling Law這條路，已經被他判了「緩刑」——還能繼續走，但絕不會通向AGI！

他還指出，今天的模型再強，泛化能力也遠遠配不上其參數量和Benchmark的分數，甚至遠遜于人類。

最關鍵的是，Ilya已對技術缺失的環節形成清晰的思路，但選擇暫不公開更多的細節。

這場長達1個半小時對談，Ilya還探討了SSI戰略、AI模型泛化能力提升關鍵，以及AGI未來的發展路線。

核心亮點一覽：

• 當前技術路線后勁不足——模型雖持續改進，但無法實現AGI

• 真正可行的系統架構我們至今尚未掌握構建方法

• 核心瓶頸：泛化能力，而模型在此領域遠遜人類

• 即便用所有編程競賽題目訓練模型，它仍無法形成真正的「解題直覺」

• 評估分數光鮮亮麗，但實際性能滯后——RL訓練最終演變為對評估指標的過度優化

• 真正的獎勵機制黑客，實則是設計這些基準測試和研究循環的科研人員

• ASI可能在5-20年內降臨

這場對話，將成為這一年，或許更遠未來的序章。

預訓練遇瓶頸，AI與現實脫節

訪談伊始，Ilya Sutskever感慨道，「想到這一切都是真的，真的有點瘋狂」！

住在灣區，經常會看到「拿出美國1%GDP投AI、某某公司又投xx美元」這類瘋狂的事，就像是從科幻小說的情節。

奇怪的是，一切又好像沒有什么變化。

AI模型在智力上實現了飛躍，但它們對經濟的實際滲透卻慢得多。

Ilya坦言，這正是當前AI令人困惑，最矛盾的點之一：

在各種基準評測中，AI模型性能的表現幾乎「超乎人們的想象」，但在真實世界中，它卻常常犯一些讓人抓狂的錯誤。

假設你用vibe coding編碼，出現bug→模型修bug→引入第二個bug→指出第二個bug→模型修第二個bug→又把第一個bug帶回來。

至少人類在寫代碼時，至少知道不要重復犯同樣的錯誤，但LLM像是在兩個bug之間來回「跳房子」。

為什么會這樣？這種現象背后最深層的原因，究竟是什么？

這里，Ilya給出了兩種解釋——

1. RL訓練會讓模型目標變得單一、狹隘，在某種程度上削弱了其全局感知能力，但又有時在其他方面，又增強了其「察覺」的能力。

也正因為這樣，它們反而做不好一些很基礎的事情。

2. 預訓練會用上「全部數據」，而RL則講究定向優化，精確界定為達成的目標使用特定數據。

也就是說，可設計的RL環境自由度大，便會有一些傾向性，即開發者不自覺地「從各種評測里獲得靈感」。

再結合當前LLM泛化仍不充分這一事實，很可能解釋為何「評測結果與現實應用」之間會出現明顯脫節。

說了這么多，Ilya核心觀點就是——

真正鉆測評空子的不是模型，是設計基準和RL環境的人類研究者。

結果就是，訓出的AI在參加競賽題訓練營方面無敵，但沒有學會如何在陌生場景下舉一反三。

他舉例道，就好比兩位學生，學生A把歷史所有競賽編程題刷一萬個小時，成為超強的「競賽程序員」。

而學生B也許只練了400個小時，但有真正的悟性、直覺、判斷力，成績也不錯。

毋庸置疑，學生B將會在未來職業生涯發展得更好。這從側面印證了，預訓練和「天賦」是有很大的差異。

當主持人Dwarkesh問道，或許你在暗示，預訓練本身沒有那么強的泛化能力，之所以有效，是因為用到了海量數據，但不見得比RL泛化的好。

Ilya認為預訓練主要優勢有兩個：第一，數據量大；第二，無需刻意挑選，有天然高度「真實性」。

情緒價值函數

那么，人類的「天賦」是什么？為什么比模型泛化更強？

在對話中，有一段核心觀點非常發人深省——

人類的學習能力，不僅僅來自經驗，還來自自進化硬編碼的「價值函數」。

Ilya表示，科學家們曾發現，一個因為腦損傷失去情緒能力的人，智力沒變、語言沒變、邏輯沒變，卻變得極其不會做決定。

甚至，連穿襪子都要想半天。

也就是說，情緒并不是「多余的噪音」，而是決策系統的一部分。

這讓我們不得不重新思考：人類與生俱來的情緒，在多大程度上是在幫我們成為一個在世界中「能正常運作的智能體」？

情緒，就是一種「價值函數」。

它會告訴你「這條路可以走」、「那條路很危險」、「這個方向不靠譜」....

再來看今天的AI，雖有類似的價值函數的訓練方式，比如模型打分器，但比較脆弱、粗糙，還不是內置的。

這也就解釋了，「情緒價值函數」之于預訓練的重要性。

那么，預訓練遭遇了瓶頸，Scaling Law又將如何呢？

Scaling時代終結

現在是「研究時代」

一直以來，人們都在說數據要Scaling、參數要Scaling、算力要Scaling，還有哪些可以Scaling的維度？

Ilya表示，預訓練最大的突破，就是大家意識到的：這套Scaling「配方」真的好用。

現在，X上許多人都在討論：Gemini好像找到了某種方式，可以從預訓練中榨出更多的東西。

但是，在某個節點上，預訓練總歸會把數據用光的，數據顯然是有限的。

或者可以這么講：從2012年到2020年，是「研究的時代」；然后從2020年到2025年，是「Scaling的時代」。

但現在算力已經很大了，電腦已經非常非常強了，從某種意義上說，我們又回到了「研究的時代」。

我們已經見證了一種Scaling方式的轉換——從預訓練的Scaling，切換到了RL的Scaling。

但是，RL非常燒算力，而且現有做法效率低。

不過Ilya再次提到，Scaling價值函數，讓AI以更像人類的方式學習。

也就是，為模型內置類似人類的判斷直覺、穩定價值感受器，任務過程中的「自我評分」，這樣才能學得更快。

Ilya指出，Scaling時代的一個后果是——scaling 把屋子里的空氣都吸干了，大家就都開始做同一件事。

于是，我們來到了這么一個世界：公司數量遠遠多于點子數量，而且是遠遠多于。

Scaling時代，讓大家都在做一樣的事：大模型、更大模型，再大一點的模型。

但隨著Scaling天花板臨近，瓶頸變成了點子本身。

未來，我們將回到那種——小而美的實驗產生巨大突破，大量奇怪的想法冒出來，以及不依賴超級算力的創新。

就像AlexNet當時僅用兩張GPU訓出，Transformer用8-64塊GPU做出，包括ResNet同樣如此。

也許下一次重大范式轉變，也來自一套「看起來不夠大」的實驗。

超級智能，還有5-20年

Dwarkesh Patel更加當心ASI的風險——

超級智能的危害似乎不僅僅、會出現惡意的「回形針制造機」（paper clipper）。

他認為，ASI極其強大，我們甚至不知道該如何概念化人們會如何與它互動，以及人們會用它來做什么。所以，逐漸開放使用權限，似乎是一種更好的方式，可以分散其沖擊力，并幫助人們做好準備。

關于這一點，Ilya認為即使在最順利的發展路徑中，你仍然會逐步發布它。漸進主義將是任何計劃與生俱來的組成部分。

問題只在于你首先發布的是什么。這是第一點。

第二，持續學習，確實是重要且正確的。原因如下。

他舉了一個例子說明語言如何影響思維。

這次，有兩個詞塑造了所有人的思維方式。第一個詞：AGI（通用人工智能）。第二個詞：預訓練。

為什么「AGI」這個詞會存在？這是一個非常特殊的術語。它的存在是有原因的。

在Ilya看來，「AGI」這個詞存在的理由，并不主要是因為它是一個描述某種智能終極狀態的重要且本質的描述符，而是因為它是對另一個已存在術語的反應，那個術語就是「狹義AI」。

如果你回溯到游戲AI的遠古歷史，比如跳棋AI、國際象棋AI、電腦游戲AI，每個人都會說，看這種狹窄的智能。當然，國際象棋AI能打敗卡斯帕羅夫，但它別的什么也做不了。

它太狹隘了，是狹義的人工智能。因此，作為對此的回應，一些人說，這樣不好。它太狹隘了。我們需要的是通用AI，一個能做所有事情的AI。這個詞就獲得了很大的關注度。

第二個獲得極大關注的詞是「預訓練」，特別是預訓練的配方。

他認為人們現在做強化學習的方式，或許正在消除「預訓練」這個概念留下的烙印。

但預訓練有這樣一個特性：你做更多的預訓練，模型在所有方面都會變得更好，或多或少是均勻地提升。預訓練帶來AGI。

但AGI和預訓練帶來的問題是，從某種意義上說，它們有些「矯枉過正」了。

如果在預訓練的語境下，思考「AGI」這個詞，你會意識到：人類其實并不是AGI。

是的，人類確實具備基礎技能，但人類先天缺失海量的知識。相反，我們依賴的是持續學習。

所以當你設想：「好吧，假設我們成功造出了某種安全的超級智能。」

問題在于，你如何定義它？它處于持續學習曲線的哪個階段？

人類好比造出了一個超級聰明的15歲少年，躍躍欲試。他懂的并不多，但他是個好學生，求知若渴。你可以對他說：「去當個程序員，去當個醫生，去學習吧。」

因此，你可以想象，部署本身將包含一個通過試錯來學習的時期。這是一個過程，而不是直接投放一個「最終成品」。

Ilya的意思是，超級智能并不是某種「完成形態」的心智，不需要一上來就懂得如何從事經濟活動中的每一項工作。因為按照OpenAI最初的章程或其他類似的定義，AGI似乎被定義為能夠勝任每一項工作、能做人類能做的每一件事。

而Ilya提出的是一種能夠學會做每一項工作的心智，這才是超級智能。

一旦擁有了這種學習算法，它就會被部署到現實世界中，類似于人類勞動力進入一家組織。

Ilya認為，如果實現這種算法，很可能會迎來一波快速的經濟增長。

不再感受AGI

這種局面其實非常危險。

從理論上說，我們知道它是可能實現的。只要有一個系統，它的學習能力與人類相當，但還能把多個「個體大腦」合并在一起，而這種能力是人類不具備的。那么，從物理角度來看，這樣的系統是完全有可能存在的。

人類可以存在，數字計算機也可以存在，只要把這兩者結合起來，這樣的東西就能被造出來。

而它的威力也將是巨大的。比如你在SSI招一個人，大概六個月他就能開始「凈貢獻」了。人類已經學習得很快了，而這種AI的進步速度只會更快。

那你如何確保這個發展過程是良性的？SSI在這方面的優勢是什么？換句話說，SSI到底有什么計劃去應對這種局面？

Ilya認為實際情況是，在實踐中很難「切身感知」到 AGI（通用人工智能）。

我們可以談論它，但試想一下，當你并未年老體衰時，去談論變老和虛弱的感覺。你可以對話，你可以試著想象，但這很難，你終究會回到現實，發現自己并非如此。

他認為圍繞AGI及其未來力量的許多問題，都源于它很難被想象。

實際上，AI和AGI的本質區別是什么？就是力量（power）。整個區別就在于力量。

當力量真的很大時，會發生什么？在過去一年里，Ilya改變了一點想法——

如果很難想象，你該怎么辦？你必須展示它。

他堅持認為，大多數從事AI工作的人也無法想象AGI，因為它與人們日常所見迥然不同。

他堅持認為，隨著AI變得越來越強大，人們會改變行為。

我們將看到各種前所未有的事情發生，而這些現在還沒有發生。舉幾個例子。

無論是好是壞，前沿AI公司將在未來的發展中扮演非常重要的角色，政府也是如此。

將來，競爭激烈的公司開始在AI安全方面進行合作。OpenAI和Anthropic邁出了第一小步，但這在以前是不存在的。

大約三年前，Ilya在一次演講中就預測過的，這種事情將會發生。他還堅持認為，隨著AI繼續肉眼可見地更強大，政府和公眾也會產生做點什么的愿望。「展示AI」是一股非常重要的力量。

Ilya還堅信，目前AI從業者之所以感覺不到AI的強大，是因為AI還會犯錯。

他確信，在某個時刻，AI實際上會開始讓人感到強大。當那一刻來臨時，我們將看到對待安全的方式，所有AI公司都發生巨大變化。他們會變得更加充滿危機感（paranoid）。

這是一個預測，但大家會看到它發生。

還有第三件事——

一直以來，大家都入坑了「自我進化AI」（self-improving AI）。

為什么會這樣？因為想法比公司少。

但Ilya堅信，有一種更好的東西值得構建，而且每個人都會想要它。

那就是一個被穩健對齊（robustly aligned）、專門關愛「有感知能力的生命」（sentient life）的AI。

他特別有理由相信，構建一個關愛有感知生命的 AI，比構建一個僅關愛人類生命的 AI 要容易.

因為AI本身也將是有感知的。如果你考慮到鏡像神經元和人類對動物的同理心——

你可能會爭辯說這種同理心還不夠強，但它確實存在。

他認為這是一種涌現屬性，源于這樣一個事實：我們使用模擬自己的同一套神經回路去模擬他人，因為那是最高效的方式。

Ilya預測，大概5到20年能夠像人類一樣學習并因此隨后變得超越人類AI系統就會出現。

參考資料：

https://www.dwarkesh.com/p/ilya-sutskever-2

https://www.youtube.com/watch?v=aR20FWCCjAs

秒追ASI

?點贊、轉發、在看一鍵三連?

點亮星標，鎖定新智元極速推送！