重磅！Ilya現(xiàn)身，最新2萬字采訪來了：藏了一手，但其他全部都分享出來了「超級 AI 將吞噬文明級能源」

↑閱讀之前記得關注+星標??，，每天才能第一時間接收到更新

Ilya 大神現(xiàn)身最新采訪，整個采訪持續(xù)1個半小時，全文2萬字原汁原味呈現(xiàn)，這是最好的傳達大神思想的方式，不用任何總結(jié)，強烈建議收藏逐字反復閱讀

當然為了最快感受大神的思想，我隨便挑了一些重點：

Ilya認為當前的方法會“走一段路，然后就走下坡路”，它們會不斷改進，但無法實現(xiàn)通用人工智能

那種行之有效的系統(tǒng)是“我們目前還不知道如何構建的”

預計未來幾年將對勞動力市場產(chǎn)生重大影響

主要瓶頸：泛化能力。模型在這方面遠遜于人類

你可以訓練模型解決所有競技編程問題，但模型仍然無法培養(yǎng)出真正的“品味”，而一個青少年大約 10 個小時就能學會開車

評估分數(shù)看起來很棒，但實際性能卻很差，因為強化學習訓練最終會針對評估本身進行優(yōu)化

真正的獎勵黑客是那些設計這些基準和訓練循環(huán)的研究人員

他說他知道還缺少什么，但不會公開分享

他預測，這種擁有“大陸級算力”的超級智能將在 5 到 20 年內(nèi)誕生

“你知道最瘋狂的是什么嗎？這一切都是真的，我們生活在科幻中”這句話讓我感同身受

在這1個半小時中Ilya 和主持人討論了 SSI（Ilya的超級智能公司） 的戰(zhàn)略、預訓練存在的問題、如何提高 AI 模型的泛化能力，以及如何確保AGI的順利發(fā)展

正文

Ilya Sutskever

你知道最瘋狂的是什么嗎？這這一切都是真實的。

Dwarkesh Patel

是指什么？

Ilya Sutskever

你不覺得嗎？所有這些關于 AI 的事情，整個灣區(qū)的現(xiàn)狀……它正在發(fā)生。這難道不像是科幻小說里的情節(jié)嗎？

Dwarkesh Patel

另一件瘋狂的事是，“慢速起飛”（slow takeoff）的感覺是如此平常。以前覺得如果我們把 GDP 的 1% 投入到 AI 中，那感覺會是一件驚天動地的大事，但現(xiàn)在感覺就像是……

Ilya Sutskever

事實證明，我們適應得很快。而且這也有點抽象。這到底意味著什么？意味著你在新聞里看到某某公司宣布了某某金額的投資。你只能看到這些。到目前為止，還沒有在其他方面真正感受到它。

Dwarkesh Patel

我們要從這里開始聊嗎？我覺得這是個有趣的討論。

Ilya Sutskever

當然。

Dwarkesh Patel

我認為你的觀點——即從普通人的角度來看，沒什么太大的不同——甚至在奇點到來時也會繼續(xù)成立。

Ilya Sutskever

不，我不這么認為。

Dwarkesh Patel

好吧，這很有趣。

Ilya Sutskever

我剛才指的“感覺沒什么不同”，是因為比如某家公司宣布了一個難以理解的巨額投資數(shù)字。我覺得沒人知道這意味這什么。

但我認為 AI 的影響將會被切實感受到。AI 將滲透到整個經(jīng)濟中。會有非常強大的經(jīng)濟力量推動這一點，我認為這種影響會被非常強烈地感受到。

Dwarkesh Patel

你預計這種影響什么時候會出現(xiàn)？我覺得現(xiàn)在的模型看起來比它們實際產(chǎn)生的經(jīng)濟影響要聰明得多。

Ilya Sutskever

是的。這是目前關于模型最令人困惑的事情之一。如何調(diào)和“它們在評估測試（evals）中表現(xiàn)如此出色”這一事實？你看那些測試，你會想，“這些題目挺難的。”它們做得很好。但經(jīng)濟影響似乎大大滯后。很難理解，為什么模型一方面能做這些驚人的事情，另一方面卻會在某些情況下重復犯錯？

舉個例子，假設你用“感覺編程”（vibe coding）做點什么。你做到某一步，然后遇到了一個 bug。你告訴模型：“能不能幫我修一下這個 bug？”模型說：“天哪，你太對了。確實有個 bug。讓我來修好它。”然后它引入了第二個 bug。你告訴它：“你有這個新的第二個 bug，”它又告訴你：“天哪，我怎么會這樣？你又說對了，”然后它又把第一個 bug 帶回來了，你就在這兩個 bug 之間來回折騰。這怎么可能？我不確定，但這確實表明有一些奇怪的事情正在發(fā)生。

我有兩個可能的解釋。比較異想天開的解釋是，也許強化學習（RL）訓練讓模型變得有點過于一根筋和狹隘，有點過于缺乏意識，即使它在其他方面讓它們變得更有意識。正因為如此，它們無法完成一些基本的事情。

但還有另一種解釋。以前人們做預訓練（pre-training）時，“用什么數(shù)據(jù)訓練”這個問題是有答案的，因為答案是“所有數(shù)據(jù)”。當你做預訓練時，你需要所有的數(shù)據(jù)。所以你不用糾結(jié)是用這個數(shù)據(jù)還是那個數(shù)據(jù)。

但是當人們做 RL 訓練時，他們確實需要思考。他們會說，“好吧，我們要為這個東西做這種 RL 訓練，為那個東西做那種 RL 訓練。”據(jù)我所知，所有公司都有團隊專門制作新的 RL 環(huán)境，并將其添加到訓練組合中。問題是，那些環(huán)境是什么？自由度太高了。你可以制作的 RL 環(huán)境種類繁多。

有一件事是可以做的，而且我認為這是無意中發(fā)生的，就是人們從評估測試中汲取靈感。你會說，“嘿，我希望我們的模型在發(fā)布時表現(xiàn)得非常好。我想讓評估分數(shù)看起來很棒。什么樣的 RL 訓練能在這個任務上有所幫助？”我認為這種事情確實發(fā)生了，這可以解釋很多正在發(fā)生的事情。

如果你把這一點與“模型的泛化能力實際上并不夠好”結(jié)合起來，這就有可能解釋我們看到的許多現(xiàn)象，即評估表現(xiàn)與實際現(xiàn)實世界表現(xiàn)之間的脫節(jié)，這是我們今天甚至還沒完全理解其含義的事情。

Dwarkesh Patel

我喜歡這個觀點，真正的“獎勵黑客”（reward hacking）其實是那些過于關注評估分數(shù)的人類研究員。

我認為有兩種方式來理解，或者試圖思考你剛才指出的問題。一種是，如果僅僅通過在編程競賽中變得超人般強大，模型并不會自動變得更有品味、在改進代碼庫時表現(xiàn)出更好的判斷力，那么你就應該擴展環(huán)境套件，這樣你就不只是測試它在編程競賽中的表現(xiàn)。它還應該能夠為 X、Y 或 Z 制作最好的應用程序。

另一種，也許這正是你暗示的，就是問：“為什么在編程競賽中變得超人般強大，卻不能讓你在更廣泛的意義上成為一個更有品味的程序員？”也許我們要做的不應該是不斷堆疊環(huán)境的數(shù)量和多樣性，而是要找到一種方法，讓你能從一個環(huán)境中學習，并在其他事情上提高表現(xiàn)。

Ilya Sutskever

我有一個人類的類比可能會有幫助。讓我們以編程競賽為例，既然你提到了。假設有兩個學生。其中一個決定要成為最好的競賽程序員，所以他們會在這個領域練習 10,000 小時。他們會解決所有問題，記住所有證明技巧，并且非常熟練地快速正確實現(xiàn)所有算法。通過這樣做，他們成為了最好的之一。

第二個學生想，“哦，編程競賽很酷。”也許他們練習了 100 小時，少得多，但他們也做得很好。你認為哪一個在以后的職業(yè)生涯中會做得更好？

Dwarkesh Patel

第二個。

Ilya Sutskever

對。我認為這就是正在發(fā)生的事情。現(xiàn)在的模型更像第一個學生，甚至程度更甚。因為我們會說，模型應該擅長編程競賽，所以讓我們把有史以來的每一個編程競賽問題都拿來。然后我們做一些數(shù)據(jù)增強，這樣我們就有了更多的編程競賽問題，然后我們在這些數(shù)據(jù)上訓練。現(xiàn)在你得到了這個偉大的競賽程序員。

用這個類比，我覺得更直觀。是的，好吧，如果它訓練得這么好，所有不同的算法和證明技巧都觸手可及。但直覺告訴我們，這種程度的準備并不一定能泛化到其他事情上。

Dwarkesh Patel

但是，第二個學生在進行那 100 小時的微調(diào)之前，他在做什么？這里的類比是什么？

Ilya Sutskever

我覺得他們有“它”。那種“天賦”因素。我在讀本科的時候，記得有個同學就是這樣，所以我知道這種人是存在的。

Dwarkesh Patel

我覺得把這種“天賦”與預訓練的作用區(qū)分開來很有趣。理解你剛才說的“不需要在預訓練中選擇數(shù)據(jù)”的一種方式是，這實際上與那 10,000 小時的練習并無二致。只是你免費得到了那 10,000 小時的練習，因為它已經(jīng)在預訓練分布中的某個地方了。但也許你是在暗示，實際上預訓練并沒有帶來那么多的泛化。預訓練中只有海量的數(shù)據(jù)，但它不一定比 RL 泛化得更好。

Ilya Sutskever

預訓練的主要優(yōu)勢在于：A，數(shù)據(jù)量巨大；B，你不需要費盡心思去想把什么數(shù)據(jù)放入預訓練中。它是非常自然的數(shù)據(jù)，確實包含了很多人們做的事情：人們的思想和很多特征。它就像是整個世界被人們投射到了文本上，而預訓練試圖利用海量數(shù)據(jù)來捕捉這一點。

預訓練很難推理，因為很難理解模型依賴預訓練數(shù)據(jù)的方式。每當模型犯錯時，是不是因為某些東西碰巧沒有得到預訓練數(shù)據(jù)的充分支持？“預訓練支持”也許是個寬泛的術語。我不知道我還能不能補充更多有用的東西。我不認為預訓練有人類層面的類比。

Dwarkesh Patel

有些人提出過預訓練的人類類比。我很想聽聽你認為它們?yōu)槭裁纯赡苁清e的。一種是把這看作人生的前 18 年、15 年或 13 年，那時他們不一定有經(jīng)濟產(chǎn)出，但他們在做一些讓他們更好地理解世界的事情。另一種是把進化看作是進行了 30 億年的搜索，然后產(chǎn)生了一個人類生命實例。

我很好奇你是否認為這些可以類比預訓練。如果不是預訓練，你會如何看待人類的終身學習？

Ilya Sutskever

我認為這兩者與預訓練之間都有一些相似之處，預訓練試圖扮演這兩者的角色。但我認為也有一些巨大的差異。預訓練的數(shù)據(jù)量非常非常驚人。

Dwarkesh Patel

是的。

Ilya Sutskever

不知何故，一個人即使過了 15 年，接觸到的數(shù)據(jù)只是預訓練數(shù)據(jù)的一小部分，他們知道的東西少得多。但無論他們知道什么，不知何故他們理解得更深。在這個年紀，你就不會犯我們 AI 犯的那種錯誤了。

還有一件事。你會說，這可能是像進化一樣的東西嗎？答案是也許。但在這種情況下，我認為進化實際上可能更有優(yōu)勢。我記得讀過這個案例。神經(jīng)科學家了解大腦的一種方式是研究大腦不同部位受損的人。有些人的癥狀奇怪到你無法想象。這真的非常有趣。

我想到了一個相關的案例。我讀到過一個人，他的大腦受到某種損傷，中風或事故，導致他的情感處理能力喪失。所以他不再感覺到任何情緒。他仍然非常善于表達，能解決小謎題，在測試中看起來一切正常。但他感覺不到情緒。他不感到悲傷，不感到憤怒，也不感到興奮。不知何故，他變得極不擅長做任何決定。決定穿哪雙襪子都要花好幾個小時。他會做出非常糟糕的財務決定。

這說明了我們內(nèi)置的情緒在使我們成為一個可行的智能體方面扮演了什么角色？聯(lián)系到你關于預訓練的問題，也許如果你足夠擅長從預訓練中獲取一切，你也能得到那個。但這似乎是那種……嗯，從預訓練中獲得那個東西可能是可能的，也可能不可能。

Dwarkesh Patel

“那個”是什么？顯然不僅僅是直接的情緒。它看起來像是某種類似價值函數(shù)（value function）的東西，它告訴你任何決定的最終回報應該是什么。你認為這不會從預訓練中隱式地產(chǎn)生嗎？

Ilya Sutskever

我認為它是可以的。我只是說這不是 100% 顯而易見的。

Dwarkesh Patel

但這到底是什么？你怎么看待情緒？情緒在機器學習（ML）中的類比是什么？

Ilya Sutskever

它應該是某種價值函數(shù)的東西。但我不認為有一個很好的 ML 類比，因為目前，價值函數(shù)在人們做的事情中并沒有發(fā)揮非常突出的作用。

Dwarkesh Patel

如果方便的話，也許值得為觀眾定義一下什么是價值函數(shù)。

Ilya Sutskever

當然，我很樂意。當人們做強化學習（RL）時，目前的做法是如何訓練這些智能體的？你有一個神經(jīng)網(wǎng)絡，給它一個問題，然后告訴模型，“去解決它。”模型會采取數(shù)千甚至數(shù)十萬個動作或思考步驟，然后產(chǎn)生一個解決方案。這個解決方案會被打分。

然后，這個分數(shù)被用來為你軌跡中的每一個動作提供訓練信號。這意味著，如果你在做一件持續(xù)時間很長的事情——如果你在訓練一個需要很長時間才能解決的任務——在你想出提議的解決方案之前，它完全不會進行任何學習。這就是目前天真的 RL 做法。這就是 o1、R1 表面上的做法。

價值函數(shù)的意思是，“也許有時（不總是）我可以告訴你，你做得是好是壞。”價值函數(shù)的概念在某些領域比其他領域更有用。例如，當你下國際象棋丟了一個棋子，我搞砸了。你不需要下完整局棋就知道我剛才做的是壞事，因此導致這一切的前序動作也是壞的。

價值函數(shù)讓你不必等到最后。假設你在做某種數(shù)學或編程的事情，你試圖探索一個特定的解決方案或方向。在思考了比如一千步之后，你得出結(jié)論這個方向沒有希望。一旦你得出這個結(jié)論，你就可以在一千個時間步之前，當你決定走這條路時，就已經(jīng)得到一個獎勵信號。你會說，“下次在類似情況下我不應該走這條路”，這早在你真正拿出提議的解決方案之前。

Dwarkesh Patel

這在 DeepSeek R1 的論文里提到過——軌跡的空間太廣了，也許很難學習從中間軌跡到價值的映射。而且考慮到，例如在編程中，你會有一個錯誤的想法，然后你會回過頭去，改變一些東西。

Ilya Sutskever

這聽起來像是對深度學習缺乏信心。當然這可能很難，但沒有什么深度學習做不到的。我的預期是價值函數(shù)應該是有用的，我完全預計它們將在未來被使用，如果不是已經(jīng)在用的話。

我提到的那個情感中樞受損的人的例子，更多是暗示也許人類的價值函數(shù)在某種重要方面受到情緒的調(diào)節(jié)，這是進化硬編碼的。也許這對人類在世界上有效行事很重要。

Dwarkesh Patel

這正是我打算問你的。關于價值函數(shù)的情緒有一些非常有趣的地方，那就是它們在如此有用的同時，理解起來卻相當簡單，這令人印象深刻。

Ilya Sutskever

我有兩個回應。我確實同意，與我們學習的東西以及我們正在討論的 AI 相比，情緒相對簡單。它們甚至簡單到也許你可以用人類可理解的方式將它們繪制出來。我覺得這樣做會很酷。

但在實用性方面，我認為存在一種復雜性與魯棒性的權衡，復雜的東西可能非常有用，但簡單的東西在非常廣泛的情況下都非常有用。解釋我們所見現(xiàn)象的一種方式是，我們的情緒大多是從我們的哺乳動物祖先演化而來的，然后在我們成為原始人類時進行了一點微調(diào)，只是一點點。不過我們確實有相當數(shù)量的社會性情緒，這是哺乳動物可能缺乏的。但它們并不是非常復雜。正是因為它們不復雜，所以在這個與我們一直生活的世界截然不同的世界里，它們依然能很好地為我們服務。

實際上，它們也會犯錯。例如，我們的情緒……其實，我不知道。饑餓算是一種情緒嗎？這有爭議。但我認為，例如，我們直覺上的饑餓感在這個食物充足的世界里并沒有成功地正確引導我們。

Dwarkesh Patel

人們一直在談論擴展數(shù)據(jù)、擴展參數(shù)、擴展算力。有沒有更通用的方式來思考擴展（scaling）？還有哪些其他的擴展維度？

Ilya Sutskever

這里有一個我認為可能是正確的視角。過去機器學習的工作方式是，人們只是修修補補，試圖得到有趣的結(jié)果。過去一直都是這樣。

然后擴展的洞見出現(xiàn)了。Scaling Laws（擴展定律）、GPT-3，突然之間大家都意識到我們應該進行擴展。這是語言影響思維的一個例子。“Scaling”只是一個詞，但它是一個非常有力的詞，因為它告訴人們該做什么。他們說，“讓我們試著擴展東西。”所以你會問，我們在擴展什么？預訓練是要擴展的東西。它是一個特定的擴展配方。

預訓練的巨大突破在于意識到這個配方是好的。你會說，“嘿，如果你把一些算力和一些數(shù)據(jù)混合到一個特定大小的神經(jīng)網(wǎng)絡中，你會得到結(jié)果。你知道只要按比例放大這個配方，你就會變得更好。”這也太棒了。公司喜歡這個，因為它提供了一種風險極低的方式來投資資源。

投資研究要難得多。比較一下。如果你做研究，你需要說，“去吧研究員們，去研究并想出點什么來”，對比“獲取更多數(shù)據(jù)，獲取更多算力”。你知道你會從預訓練中得到東西。

確實，根據(jù)一些人在推特上的說法，看起來 Gemini 可能已經(jīng)找到了一種從預訓練中獲得更多收益的方法。但在某個時刻，預訓練的數(shù)據(jù)會用完。數(shù)據(jù)顯然是有限的。接下來你做什么？要么你做某種增強版的預訓練，一種與以前不同的配方，要么你做 RL，或者可能是其他東西。但現(xiàn)在算力很大，算力現(xiàn)在非常大，從某種意義上說，我們又回到了研究時代。

也許換一種說法。直到 2020 年，從 2012 年到 2020 年，是研究時代。然后，從 2020 年到 2025 年，是擴展時代——也許加減一些誤差范圍——因為人們說，“這太驚人了。你必須擴展更多。繼續(xù)擴展。”這一個詞：擴展。

但現(xiàn)在規(guī)模已經(jīng)這么大了。信念真的是“哦，它這么大，但如果你有 100 倍以上，一切都會變得如此不同”嗎？肯定會有不同。但信念是只要把規(guī)模擴大 100 倍，一切都會發(fā)生質(zhì)變嗎？我不認為這是真的。所以這又回到了研究時代，只是有了大電腦。

Dwarkesh Patel

這是一種非常有趣的說法。但讓我問你剛才提出的問題。我們在擴展什么，擁有一個配方意味著什么？我想我還不知道預訓練中存在的那種非常干凈的、幾乎看起來像物理定律的關系。在數(shù)據(jù)、算力或參數(shù)與損失之間存在冪律關系。我們應該尋求什么樣的關系，我們應該如何思考這個新配方可能是什么樣子的？

Ilya Sutskever

我們已經(jīng)見證了從一種類型的擴展向另一種類型的擴展的轉(zhuǎn)變，從預訓練到 RL。現(xiàn)在人們正在擴展 RL。根據(jù)人們在推特上的說法，他們在 RL 上花費的算力此時比預訓練還多，因為 RL 實際上可以消耗相當多的算力。你做很長的推演（rollouts），所以產(chǎn)生這些推演需要很多算力。然后你從每個推演中獲得相對較少的學習量，所以你真的可以花費很多算力。

我甚至不會稱之為擴展。我會說，“嘿，你在做什么？你做的事情是你最能產(chǎn)出的事情嗎？你能找到一種更有效利用算力的方法嗎？”我們之前討論過價值函數(shù)的事情。也許一旦人們擅長價值函數(shù)，他們將更有效地利用資源。如果你發(fā)現(xiàn)了一種完全不同的訓練模型的方法，你會說，“這是擴展還是僅僅是利用你的資源？”我認為這變得有點模棱兩可。

某種意義上，當人們回到那時的研究時代，就是“讓我們試試這個、這個和這個。讓我們試試那個、那個和那個。哦，看，有趣的事情發(fā)生了。”我認為將會回歸到這種狀態(tài)。

Dwarkesh Patel

如果我們回到了研究時代，退一步說，我們需要最深入思考的配方部分是什么？當你提到價值函數(shù)時，人們已經(jīng)在嘗試當前的配方，比如用 LLM-as-a-Judge（大模型作為裁判）等等。你可以說那是一個價值函數(shù)，但聽起來你有更本質(zhì)的想法。我們是否應該徹底重新思考預訓練，而不僅僅是在那個過程的末尾添加更多步驟？

Ilya Sutskever

關于價值函數(shù)的討論，我認為很有趣。我想強調(diào)，我認為價值函數(shù)會讓 RL 更有效率，我認為這很重要。但我認為任何你可以用價值函數(shù)做的事，你不用它也能做，只是更慢。我認為最根本的事情是，這些模型不知何故泛化能力比人類差得多。這非常明顯。這似乎是一個非常根本的事情。

Dwarkesh Patel

這就是關鍵：泛化。這有兩個子問題。一個是關于樣本效率：為什么這些模型學習需要比人類多得多的數(shù)據(jù)？還有第二個問題。即使不談所需的數(shù)據(jù)量，為什么教模型我們要的東西比教人類要難得多？對于人類，我們不一定需要一個可驗證的獎勵來……你現(xiàn)在可能正在指導一群研究人員，你和他們交談，向他們展示你的代碼，向他們展示你是如何思考的。從中，他們學到了你的思維方式以及他們應該如何做研究。

你不需要為他們設定一個可驗證的獎勵，比如“好，這是課程的下一部分，現(xiàn)在這是你課程的下一部分。哦，這次訓練不穩(wěn)定。”沒有這種繁瑣的、定制的過程。也許這兩個問題實際上以某種方式相關，但我很想探討這第二件事，這更像是終身學習（continual learning），而第一件事感覺就像是樣本效率。

Ilya Sutskever

其實你可以思考，對人類樣本效率的一種可能的解釋是進化。進化給了我們少量最有用信息的先驗。對于視覺、聽覺和運動這些東西，我認為有很強的理由證明進化給了我們很多。

例如，人類的靈巧度遠遠超過……我是說，如果你在模擬中對機器人進行大量訓練，它們也能變得靈巧。但在現(xiàn)實世界中訓練機器人像人一樣快速掌握一項新技能似乎遙不可及。在這里你可以說，“哦是的，運動能力。我們所有的祖先都需要極好的運動能力，比如松鼠。所以對于運動能力，也許我們有一些不可思議的先驗。”

你可以為視覺提出同樣的理由。我相信 Yann LeCun 提出過一個觀點，孩子在 10 小時的練習后學會開車，這是真的。但我們的視覺太好了。至少對我來說，我記得我五歲的時候。那時候我對汽車非常興奮。我敢肯定，我五歲時的汽車識別能力已經(jīng)足以用來開車了。作為一個五歲的孩子，你看不到那么多數(shù)據(jù)。你大部分時間都待在父母家里，所以數(shù)據(jù)多樣性很低。

但你可以說也許那也是進化。但在語言、數(shù)學和編程方面，可能不是。

Dwarkesh Patel

它看起來仍然比模型好。顯然，模型在語言、數(shù)學和編程方面比普通人好。但它們在學習方面比普通人好嗎？

Ilya Sutskever

哦是的。哦是的，絕對的。我想說的是，語言、數(shù)學和編程——尤其是數(shù)學和編程——表明，無論是什么讓人類擅長學習，可能不僅僅是一個復雜的先驗，而是更多的東西，某種根本性的東西。

Dwarkesh Patel

我不確定我理解了。為什么會這樣？

Ilya Sutskever

考慮一項人們表現(xiàn)出某種巨大可靠性的技能。如果這項技能對我們的祖先在數(shù)百萬年、數(shù)億年里都非常有用，你可以爭辯說，也許人類擅長它是因為進化，因為我們有一個先驗，一個以某種非常不明顯的方式編碼的進化先驗，不知何故使我們?nèi)绱松瞄L它。

但是，如果人們在一個直到最近才存在的領域表現(xiàn)出巨大的能力、可靠性、魯棒性和學習能力，那么這更多地表明人們可能只是擁有更好的機器學習機制，句號。

Dwarkesh Patel

我們應該如何思考那是什么？什么是 ML 類比？這里有幾件有趣的事情。它需要更少的樣本。它更像是無監(jiān)督的。一個孩子學開車……孩子不學開車。一個青少年學開車并不是真的得到了某種預先建立的、可驗證的獎勵。它來自他們與機器和環(huán)境的互動。它需要的樣本少得多。它看起來更無監(jiān)督。它看起來更魯棒？

Ilya Sutskever

魯棒得多。人類的魯棒性真的令人震驚。

Dwarkesh Patel

你有沒有一個統(tǒng)一的方式來思考為什么所有這些事情同時發(fā)生？能夠?qū)崿F(xiàn)類似這種東西的 ML 類比是什么？

Ilya Sutskever

你一直在問的一件事是，青少年司機如何在沒有外部老師的情況下自我糾正并從經(jīng)驗中學習？答案是他們有自己的價值函數(shù)。他們有一種普遍的感覺，順便說一下，這種感覺在人身上也非常魯棒。無論人類的價值函數(shù)是什么，除了成癮等少數(shù)例外，它實際上非常非常魯棒。

所以對于像學開車的青少年來說，他們開始開車，馬上就能感覺到自己開得怎么樣，有多糟糕，多不自信。然后他們看到，“好的。”然后，當然，任何青少年的學習速度都太快了。10 個小時后，你就可以上路了。

Dwarkesh Patel

看起來人類有某種解決方案，但我很好奇他們是如何做到的，以及為什么這這么難？我們需要如何重新構想訓練模型的方式來實現(xiàn)這種可能？

Ilya Sutskever

這是一個很好的問題，這也是我有很多觀點的問題。但不幸的是，我們生活在一個并非所有機器學習想法都可以自由討論的世界里，這就是其中之一。可能有一種方法可以做到。我認為這是可以做到的。人們就是這樣，我認為這證明了它是可以做到的。

不過可能還有另一個阻礙，就是人類神經(jīng)元進行的計算量可能比我們要多。如果是真的，如果那起到了重要作用，那么事情可能會更困難。但無論如何，我確實認為這指向了某種機器學習原則的存在，對此我有自己的看法。但不幸的是，環(huán)境使得很難詳細討論。

Dwarkesh Patel

我很好奇。如果你說我們回到了研究時代，你在 2012 年到 2020 年就在那里。如果我們要回到研究時代，現(xiàn)在的氛圍會是什么樣的？

例如，即使在 AlexNet 之后，用于運行實驗的算力也在不斷增加，前沿系統(tǒng)的規(guī)模也在不斷增加。你認為現(xiàn)在的研究時代是否仍然需要大量的算力？你認為這需要回到檔案館去閱讀舊論文嗎？

當你在 Google、OpenAI 和斯坦福這些地方時，那時有更多的研究氛圍？我們在社區(qū)中應該期待什么樣的事情？

Ilya Sutskever

擴展時代的一個后果是，擴展吸走了房間里所有的空氣。因為擴展吸走了所有的空氣，每個人都開始做同樣的事情。我們到了這樣一個地步，世界上的公司比想法多得多。實際上關于這一點，硅谷有句俗話說，想法是廉價的，執(zhí)行就是一切。人們常這么說，這也確實有道理。但我看到有人在 Twitter 上說，“如果想法這么廉價，怎么沒人有想法呢？”我覺得這也是真的。

如果你從瓶頸的角度思考研究進展，有幾個瓶頸。其中一個是想法，另一個是你實現(xiàn)它們的能力，這可能是算力也可能是工程。如果你回到 90 年代，假設有人有很好的想法，如果他們有更大的計算機，也許他們可以證明他們的想法是可行的。但他們做不到，所以他們只能做一個非常非常小的演示，無法說服任何人。所以瓶頸是算力。

然后在擴展時代，算力增加了很多。當然，有個問題是需要多少算力，但算力是巨大的。算力大到你并不明顯需要更多的算力來證明某個想法。我給你一個類比。AlexNet 是在兩個 GPU 上構建的。那是它使用的總算力。Transformer 是在 8 到 64 個 GPU 上構建的。2017 年沒有任何單一的 Transformer 論文實驗使用的 GPU 超過 64 個，這大概相當于今天的兩個 GPU？ResNet 也是，對吧？你可以爭辯說 o1 推理并不是世界上最耗算力的東西。

所以對于研究，你肯定需要一定量的算力，但這遠不意味著你需要有史以來絕對最大的算力來進行研究。你可能會爭辯，而且我認為這是真的，如果你想構建絕對最好的系統(tǒng)，那么擁有更多的算力會有幫助。特別是如果每個人都在同一個范式內(nèi)，那么算力就成了巨大的差異化因素。

Dwarkesh Patel

我問你歷史是因為你當時真的在場。我不確定實際發(fā)生了什么。聽起來使用最少的算力來開發(fā)這些想法是可能的。但 Transformer 并沒有立即變得出名。它成為了每個人開始做的事情，然后開始在其基礎上進行實驗和構建，因為它在更高層級的算力上得到了驗證。

Ilya Sutskever

沒錯。

Dwarkesh Patel

如果你在 SSI 有 50 個不同的想法，如果不擁有其他前沿實驗室那種算力，你怎么知道哪一個是下一個 Transformer，哪一個是脆弱的？

Ilya Sutskever

我可以評論一下。簡短的評論是，你提到了 SSI。具體對我們來說，SSI 用于研究的算力真的不小。我想解釋一下為什么。簡單的數(shù)學可以解釋為什么我們擁有的研究算力比人們想象的要多。我會解釋。

SSI 籌集了 30 億美元，這在絕對意義上是一筆巨款。但你會說，“看看其他籌集更多資金的公司。”但他們的大部分算力都用于推理（inference）。這些大數(shù)字，這些大額貸款，是專門用于推理的。這是第一點。第二，如果你想擁有一個進行推理的產(chǎn)品，你需要有龐大的工程師、銷售人員團隊。大量的研究需要致力于生產(chǎn)各種與產(chǎn)品相關的功能。所以當你看看實際上留給研究的是什么時，差距就變得小得多了。

另一件事是，如果你在做不同的事情，你真的需要絕對最大的規(guī)模來證明它嗎？我不認為這是真的。我認為在我們的案例中，我們有足夠的算力來證明，來說服我們自己和其他任何人，我們在做的事情是正確的。

Dwarkesh Patel

有公開估計稱，像 OpenAI 這樣的公司僅在實驗上每年就花費 50-60 億美元。這與他們在推理等方面的支出是分開的。所以看起來他們每年運行研究實驗的支出比你們的總資金還多。

Ilya Sutskever

我認為這是一個你用它做什么的問題。這是一個你用它做什么的問題。在他們的情況下，在其他人的情況下，對訓練算力有更多的需求。有更多不同的工作流，有不同的模態(tài)，只是有更多的東西。所以它變得碎片化了。

Dwarkesh Patel

SSI 將如何賺錢？

Ilya Sutskever

我對這個問題的回答是這樣的。現(xiàn)在，我們只專注于研究，然后這個問題的答案會自己顯現(xiàn)出來。我認為會有很多可能的答案。

Dwarkesh Patel

SSI 的計劃仍然是直通超級智能嗎？

Ilya Sutskever

也許。我認為這樣做有其優(yōu)點。我認為這有很多優(yōu)點，因為不受日常市場競爭的影響是非常好的。但我認為有兩個原因可能會導致我們改變計劃。一個是務實的，如果時間線變得很長，這是可能的。其次，我認為最強大、最好的 AI 在外面影響世界是有很大價值的。我認為這是一件有意義且有價值的事情。

Dwarkesh Patel

那為什么你的默認計劃是直通超級智能？因為聽起來 OpenAI、Anthropic 以及所有其他公司，他們的明確想法是，“看，我們有越來越弱的智能，公眾可以適應并為此做好準備。”為什么直接構建超級智能可能更好？

Ilya Sutskever

我會分別陳述支持和反對的理由。支持的理由是，人們在市場中面臨的挑戰(zhàn)之一是他們必須參與激烈的競爭（rat race）。這種競爭非常困難，因為它讓你面臨需要做出的艱難權衡。說“我們將把自己與這一切隔離開來，只專注于研究，只在準備好時才出來，而不是之前”是很好的。但反駁也是有效的，那是相反的力量。反駁是，“嘿，讓世界看到強大的 AI 是有用的。讓世界看到強大的 AI 是有用的，因為那是你能夠傳達它的唯一方式。”

Dwarkesh Patel

我想甚至不僅僅是你能夠傳達這個想法——

Ilya Sutskever

傳達 AI，不是想法。傳達 AI。

Dwarkesh Patel

你說的“傳達 AI”是什么意思？

Ilya Sutskever

假設你寫了一篇關于 AI 的文章，文章說，“AI 將會是這樣，AI 將會是那樣，它會是這個。”你讀了之后說，“好的，這是一篇有趣的文章。”現(xiàn)在假設你看到一個 AI 做這個，一個 AI 做那個。這是無法比擬的。基本上我認為 AI 公開化有很大的好處，這將是我們不完全直通的一個理由。

Dwarkesh Patel

我想甚至不僅僅是那個，雖然我確實認為那是其中的重要部分。另一件大事是，我想不出人類工程和研究中有哪一門學科，其最終產(chǎn)品主要是通過僅僅思考如何使其安全而變得更安全的，相比之下——為什么今天的飛機每英里墜毀率比幾十年前低得多。為什么現(xiàn)在在 Linux 中找 bug 比幾十年前難得多？我認為這主要是因為這些系統(tǒng)被部署到了世界上。你注意到了故障，這些故障被糾正了，系統(tǒng)變得更加健壯。

我不確定為什么 AGI 和超人類智能會有什么不同，尤其是考慮到——我希望我們會談到這點——看起來超級智能的危害不僅僅是關于有一個惡意的回形針制造者。這是一個真正強大的東西，我們甚至不知道如何概念化人們?nèi)绾闻c之互動，人們會用它做什么。逐步接觸它似乎是分散其影響并幫助人們?yōu)榇俗龊脺蕚涞母梅绞健?/p>

Ilya Sutskever

嗯，我認為關于這一點，即使在直通方案中，你仍然會逐步發(fā)布它，我是這樣想象的。漸進主義將是任何計劃的固有組成部分。只是問題在于你推出的第一件東西是什么。這是第一點。

第二，我相信你比其他人更提倡終身學習（continual learning），而且我實際上認為這是一件重要且正確的事情。原因如下。我給你另一個語言如何影響思維的例子。在這種情況下，我認為有兩個詞塑造了每個人的思維。第一個詞：AGI。第二個詞：預訓練。讓我解釋一下。

AGI 這個術語，為什么這個術語存在？這是一個非常特別的術語。它為什么存在？有原因的。在我看來，AGI 這個術語之所以存在，與其說是因為它是某種智能終極狀態(tài)的非常重要、本質(zhì)的描述，不如說它是因為它是對另一個存在的術語的反應，那個術語是“狹義 AI”（narrow AI）。如果你回到游戲和 AI、跳棋 AI、國際象棋 AI、電腦游戲 AI 的遠古歷史，每個人都會說，看這個狹義的智能。當然，國際象棋 AI 可以擊敗卡斯帕羅夫，但它不能做任何其他事情。它是如此狹隘，人工狹義智能。所以作為回應，作為對此的反應，有些人說，這不好。它太狹隘了。我們需要的是通用 AI，一個可以做所有事情的 AI。那個術語獲得了很多關注。

第二個獲得很多關注的是預訓練，特別是預訓練的配方。我認為人們現(xiàn)在做 RL 的方式可能正在消除預訓練的概念印記。但預訓練有這種屬性。你做更多的預訓練，模型在所有方面都會變得更好，或多或少是一致的。通用 AI。預訓練產(chǎn)生 AGI。

但是 AGI 和預訓練發(fā)生的事情是，在某種意義上它們超出了目標。如果你在預訓練的背景下思考“AGI”這個術語，你會意識到人類并不是一個 AGI。是的，肯定有技能的基礎，但人類缺乏大量的知識。相反，我們依賴終身學習。

所以當你思考，“好吧，假設我們?nèi)〉昧顺晒Γ覀儺a(chǎn)生某種安全的超級智能。”問題是，你如何定義它？它會在終身學習曲線的哪里？

我生產(chǎn)了一個超級聰明的 15 歲少年，非常渴望出發(fā)。他們知道的不多，是一個很好的學生，非常渴望。你去當程序員，你去當醫(yī)生，去學習。所以你可以想象部署本身將涉及某種學習試錯期。這是一個過程，而不是你扔出一個成品。

Dwarkesh Patel

我明白了。你是在暗示你指出的超級智能不是某種已經(jīng)知道如何做經(jīng)濟中每一項工作的成品思維。因為，比如說，最初的 OpenAI 章程或其他文件定義 AGI 的方式是，它可以做每一項工作，人類能做的每一件事。你提議的是一種可以 學會 做每一項工作的思維，那就是超級智能。

Ilya Sutskever

是的。

Dwarkesh Patel

但是一旦你有了學習算法，它就會像人類勞動力加入組織一樣被部署到世界上。

Ilya Sutskever

完全正確。

Dwarkesh Patel

看起來這兩種情況之一可能會發(fā)生，也許這兩種情況都不會發(fā)生。第一，這種超級高效的學習算法變得超人，變得和你一樣好，甚至可能比你更好，在 ML 研究任務上。結(jié)果算法本身變得越來越超人。

另一個是，即使那沒有發(fā)生，如果你有一個單一的模型——這顯然是你的愿景——模型的實例被部署到整個經(jīng)濟中做不同的工作，學習如何做那些工作，在工作中不斷學習，學會任何人能學會的所有技能，但同時也學會所有技能，然后合并它們的學習成果，你基本上就有了一個功能上變得超級智能的模型，即使軟件沒有任何遞歸的自我改進。因為你現(xiàn)在有了一個可以做經(jīng)濟中每一項工作的模型，而人類無法以同樣的方式合并我們的思想。所以你預計廣泛部署會帶來某種智能爆炸嗎？

Ilya Sutskever

我認為我們很可能會有快速的經(jīng)濟增長。我認為隨著廣泛部署，你可以提出兩個相互沖突的論點。一個是，一旦你確實到了擁有一個可以快速學習做事的 AI 并且你有很多這樣的 AI 的地步，那么將會有一股強大的力量將它們部署到經(jīng)濟中，除非會有某種監(jiān)管阻止它，順便說一句，可能會有。

但是關于非常快速的經(jīng)濟增長的想法，我認為從廣泛部署來看是非常可能的。問題是它會有多快。我認為這很難知道，因為一方面你有這個非常高效的工人。另一方面，世界真的很大，有很多東西，而那些東西以不同的速度移動。但另一方面，現(xiàn)在 AI 可以……所以我認為非常快速的經(jīng)濟增長是可能的。我們將看到各種各樣的事情，比如不同的國家有不同的規(guī)則，那些規(guī)則更友好的國家，經(jīng)濟增長會更快。很難預測。

Dwarkesh Patel

在我看來，這是一個非常不穩(wěn)定的處境。在極限情況下，我們知道這應該是可能的。如果你有某種在學習方面和人類一樣好，但可以合并其大腦——以人類無法合并的方式合并不同實例——的東西，這似乎是一件物理上應該可能的事情。人類是可能的，數(shù)字計算機是可能的。你只需要把這兩者結(jié)合起來就能產(chǎn)生這個東西。

看起來這種東西也非常強大。經(jīng)濟增長是描述它的一種方式。戴森球也是很多經(jīng)濟增長。但另一種說法是，你將在可能非常短的時間內(nèi)擁有……你在 SSI 雇傭人，六個月后，他們可能就是凈產(chǎn)出的。人類學得很快，而這個東西正變得越來越聰明。你如何考慮讓這一切順利進行？為什么 SSI 定位于能做好這件事？SSI 在那里的計劃是什么，這基本上就是我想問的。

Ilya Sutskever

我的想法發(fā)生變化的一種方式是，我現(xiàn)在更加重視 AI 的增量部署和提前部署。關于 AI 的一件非常困難的事情是，我們正在談論尚不存在的系統(tǒng)，很難想象它們。

我認為正在發(fā)生的一件事是，實際上很難 感覺到 AGI。很難感覺到 AGI。我們可以談論它，但這就像談論當你年老體弱時是什么感覺。你可以談論，你可以試圖想象，但這很難，你會回到那不是事實的現(xiàn)實中。我認為許多圍繞 AGI 及其未來力量的問題源于這樣一個事實：很難想象。未來的 AI 會有所不同。它將會很強大。確實，AI 和 AGI 的問題是什么？整個問題就是力量。整個問題就是力量。

當力量真的很大時，會發(fā)生什么？我在過去一年中改變主意的一種方式——這種改變，我會稍微對沖一下，可能會反向傳播到我們公司的計劃中——是，如果很難想象，你做什么？你必須展示這個東西。你必須展示這個東西。我堅持認為，大多數(shù)從事 AI 工作的人也無法想象它，因為它與人們?nèi)粘？吹降臇|西太不同了。

我確實堅持，這是我的一個預測。我堅持認為隨著 AI 變得更強大，人們會改變他們的行為。我們將看到各種前所未有的事情，這些事情現(xiàn)在還沒有發(fā)生。我會舉一些例子。我認為不管是好是壞，前沿公司將在發(fā)生的事情中扮演非常重要的角色，政府也是如此。我認為你會看到的事情，你已經(jīng)看到了開端，那就是作為激烈競爭對手的公司開始在 AI 安全方面進行合作。你可能已經(jīng)看到 OpenAI 和 Anthropic 邁出了一小步，但這以前是不存在的。這是我在大約三年前的一次演講中預測的事情，這種事情會發(fā)生。我還堅持認為，隨著 AI 繼續(xù)變得更強大，更明顯地強大，政府和公眾也會渴望做點什么。我認為這是一股非常重要的力量，即展示 AI。

這是第一點。第二點，好的，AI 正在被構建。需要做什么？我堅持認為會發(fā)生的一件事是，目前，從事 AI 工作的人，我堅持認為 AI 并不讓人感到強大，是因為它的錯誤。我確實認為在某個時刻，AI 會開始讓人感到真正強大。我認為當這種情況發(fā)生時，我們將看到所有 AI 公司對待安全的方式發(fā)生巨大變化。他們會變得更加偏執(zhí)。我這是作為一個預測說出來的，我們會看到這種事發(fā)生。我們要看看我是不是對的。但我認為這是會發(fā)生的，因為他們會看到 AI 變得更強大。目前發(fā)生的一切，我堅持認為是因為人們看著今天的 AI，很難想象未來的 AI。

還有第三件事需要發(fā)生。我是從更廣泛的角度說的，不僅僅是從 SSI 的角度，因為你問到了我們公司。問題是，公司應該渴望建立什么？他們應該渴望建立什么？有一個每個人都被鎖定的大主意，那就是自我改進的 AI。為什么會這樣？因為想法比公司少。但我堅持認為有更好的東西可以建立，我認為每個人都會想要那個。

那就是穩(wěn)健地對齊以關愛感知生命（sentient life）的 AI。我想特別指出，有理由認為建立一個關心感知生命的 AI 比建立一個只關心人類生命的 AI 更容易，因為 AI 本身將是有感知的。如果你想想鏡像神經(jīng)元和人類對動物的同理心，你可能會說這不夠大，但它確實存在。我認為這是一種涌現(xiàn)屬性，源于我們用模擬自己的同一回路來模擬他人，因為那是最高效的做法。

Dwarkesh Patel

即使你讓 AI 關心感知生物——如果真的解決了對齊問題，我不清楚這是否就是你應該嘗試做的——情況仍然是，大多數(shù)感知生物將是 AI。最終會有數(shù)萬億、數(shù)千萬億的 AI。人類將是感知生物中非常小的一部分。所以如果不清楚目標是對這個未來文明進行某種人類控制，那么我不清楚這是不是最好的標準。

Ilya Sutskever

這是真的。它可能不是最好的標準。我會說兩點。第一，關心感知生命，我認為有其優(yōu)點。應該被考慮。我認為如果有一些公司在處于這種情況下時可以使用的簡短想法清單，那會有所幫助。這是第二點。

第三，我認為如果最強大的超級智能的力量以某種方式被設定上限，那將真的有實質(zhì)性的幫助，因為這將解決很多這些擔憂。關于如何做到這一點的問題，我不確定，但我認為當你談論真正、真正強大的系統(tǒng)時，那將有實質(zhì)性的幫助。

Dwarkesh Patel

在我們繼續(xù)對齊討論之前，我想深入探討一下這一點。頂部有多少空間？你是如何看待超級智能的？利用這個學習效率的想法，你認為它可能只是在學習新技能或新知識方面極快嗎？它是否只是擁有更大的策略池？中心是否有一個單一的、有凝聚力的“它”更強大或更大？如果是這樣，你是否想象這與其余人類文明相比會像神一樣，還是它只是感覺像另一個智能體，或另一組智能體？

Ilya Sutskever

這是不同人有不同直覺的領域。我認為它肯定會非常強大。我認為最有可能發(fā)生的是，大約在同一時間會有多個這樣的 AI 被創(chuàng)造出來。我認為如果集群足夠大——比如如果集群真的是大陸級的——那個東西可能會非常強大，確實如此。如果你真的擁有一個大陸級的集群，那些 AI 可能會非常強大。我能告訴你的是，如果你在談論極其強大的 AI，真正極其強大的，如果它們能以某種方式受到限制，或者有某種協(xié)議之類的東西，那就太好了。

超級智能的擔憂是什么？解釋這種擔憂的一種方式是什么？如果你想象一個足夠強大的系統(tǒng)，真的足夠強大——你可以說你需要做一些理智的事情，比如以一種非常專一的方式關心感知生命——我們可能不喜歡結(jié)果。這就是它的本質(zhì)。

順便說一句，也許答案是你不用通常意義上的 RL 智能體。我會指出幾件事。我認為人類是半 RL 智能體。我們追求獎勵，然后情緒或其他東西讓我們對獎勵感到厭倦，我們追求不同的獎勵。市場是一種非常短視的智能體。進化也是一樣。進化在某些方面非常聰明，但在其他方面非常愚蠢。政府被設計成三個部分之間永無止境的斗爭，這也是一種效果。所以我想像這樣的事情。

另一件讓這個討論變得困難的事情是，我們談論的是不存在的系統(tǒng)，我們不知道如何構建。那是另一件事，實際上這也是我的信念。我認為人們現(xiàn)在正在做的事情會走一段距離，然后逐漸平息。它會繼續(xù)改進，但它也不會是“那個東西”。我們不知道如何構建“那個東西”，很多都取決于理解可靠的泛化。

我還要說另一件事。你可以說導致對齊困難的原因之一是，你學習人類價值觀的能力是脆弱的。然后你優(yōu)化它們的能力是脆弱的。你實際上學會了去優(yōu)化它們。你難道不能說，“這些不都是不可靠泛化的例子嗎？”為什么人類似乎泛化得這么好？如果泛化能力好得多呢？在這種情況下會發(fā)生什么？會有什么效果？但這些問題目前仍然無法回答。

Dwarkesh Patel

人們該如何思考 AI 進展順利是什么樣子的？你已經(jīng)勾勒了 AI 可能如何演變。我們將擁有這類終身學習智能體。AI 將非常強大。也許會有許多不同的 AI。你怎么看待許多大陸級算力的智能體四處游蕩？那有多危險？我們?nèi)绾巫屗兊貌荒敲次ｋU？我們?nèi)绾我砸环N保護平衡的方式做到這一點，即使外面可能有未對齊的 AI 和壞人？

Ilya Sutskever

這也是我喜歡“關心感知生命的 AI”的一個原因。我們可以爭論它是好是壞。但如果前 N 個這樣的劇變性系統(tǒng)真的關心、愛護人類或者什么的，關心感知生命，顯然這也就必須實現(xiàn)。這需要被實現(xiàn)。所以如果前 N 個系統(tǒng)實現(xiàn)了這一點，那么我可以看到它進展順利，至少在相當長的一段時間內(nèi)。

然后就是長期會發(fā)生什么的問題。你如何實現(xiàn)長期均衡？我認為那里也有一個答案。我不喜歡這個答案，但它需要被考慮。

長期來看，你可能會說，“好吧，如果你有一個強大的 AI 存在的世界，短期內(nèi)，你可以說你有普遍高收入。你有普遍高收入，我們都過得很好。”但佛教徒怎么說？“變化是唯一的常數(shù)。”事情會變。有某種政府、政治結(jié)構的東西，它會變，因為這些東西有保質(zhì)期。一些新的政府形式出現(xiàn)了，它運作，然后過了一段時間它停止運作。這是我們一直看到發(fā)生的事情。

所以我認為對于長期均衡，一種方法是你可以說也許每個人都會有一個 AI 聽命于他們，這很好。如果這能無限期維持下去，那是真的。但這的缺點是，然后 AI 去為這個人賺錢并在政治領域倡導他們的需求，也許然后寫一份小報告說，“好吧，這是我所做的，這是情況，”然后人說，“太棒了，繼續(xù)保持。”但人不再是參與者了。然后你可以說這是一個不穩(wěn)定的處境。

我要先說我不喜歡這個解決方案，但它是一個解決方案。解決方案是如果人們通過某種 Neuralink++ 變成半 AI。因為結(jié)果將會是，現(xiàn)在 AI 理解了一些東西，我們也理解了它，因為現(xiàn)在理解是全盤傳遞的。所以現(xiàn)在如果 AI 處于某種情況，你自己也完全參與了那種情況。我認為這是均衡的答案。

Dwarkesh Patel

我想知道，數(shù)百萬年——或者在很多情況下是數(shù)十億年——前在一個完全不同的環(huán)境中演化出來的情緒，至今仍如此強烈地指導著我們的行動，這是否是對齊成功的一個例子。

為了說明我的意思——我不知道稱之為價值函數(shù)還是獎勵函數(shù)更準確——腦干有一個指令說，“與更成功的人交配。”皮層是理解現(xiàn)代背景下成功意味著什么的部分。但腦干能夠?qū)R皮層并說，“無論你認為成功是什么——我不夠聰明去理解那是什么——你仍然要追求這個指令。”

Ilya Sutskever

我認為有一個更普遍的觀點。實際上進化如何編碼高層級的欲望真的很神秘。很容易理解進化如何賦予我們對聞起來好的食物的欲望，因為氣味是一種化學物質(zhì)，所以只要追求那種化學物質(zhì)就行了。很容易想象進化做那件事。

但進化也賦予了我們所有這些社會欲望。我們真的很在乎被社會積極看待。我們在乎擁有良好的地位。所有這些我們擁有的社會直覺，我強烈感覺它們是內(nèi)置的。我不知道進化是怎么做到的，因為那是在大腦中表征的一個高層級概念。

比方說你在乎某種社會事物，這不像氣味那樣是低層級信號。這不是某種有傳感器對應的東西。大腦需要做大量的處理，拼湊大量的信息碎片來理解社會上正在發(fā)生什么。不知何故進化說，“這就是你應該關心的。”它是怎么做到的？

而且它做得很快。所有這些我們在乎的復雜的社會事物，我認為它們演化得相當近。進化很容易就硬編碼了這種高層級的欲望。我不知道有什么好的假設能解釋它是如何完成的。我有過一些反復思考的想法，但沒有一個是令人滿意的。

Dwarkesh Patel

特別令人印象深刻的是，如果是你在有生之年學會的欲望，那是有道理的，因為你的大腦是智能的。你有能力學會智能的欲望是有道理的。也許這不是你的觀點，但理解它的一種方式是，欲望內(nèi)置于基因組中，而基因組并不智能。但你卻能描述這個特征。甚至都不清楚你是如何定義這個特征的，而你卻能把它構建進基因里。

Ilya Sutskever

基本上是這樣，或者我也許換個說法。如果你思考基因組可用的工具，它說，“好吧，這是構建大腦的配方。”你可以說，“這是把多巴胺神經(jīng)元連接到氣味傳感器的配方。”如果氣味是某種好的氣味，你就想吃它。

我可以想象基因組做那件事。我聲稱這（社會欲望）更難想象。更難想象基因組說你應該關心你的整個大腦、或者大腦的一大塊所做的某種復雜計算。這只是我的主張。我可以告訴你一個猜測，它是如何做到的，我也會解釋為什么這個猜測可能是錯的。

大腦有腦區(qū)。我們有皮層。它有所有那些腦區(qū)。皮層是均勻的，但腦區(qū)和皮層中的神經(jīng)元大多只與其鄰居對話。這解釋了為什么會有腦區(qū)。因為如果你想做某種語音處理，所有做語音的神經(jīng)元需要互相交流。因為神經(jīng)元大多只能與附近的鄰居交流，所以它必須是一個區(qū)域。

所有的區(qū)域在人與人之間大多位于同一個地方。所以也許進化硬編碼了大腦上的一個物理位置。所以它說，“哦，當大腦的 GPS 坐標某某某，當那里點火時，那就是你應該關心的。”也許那是進化所做的，因為那在進化的工具箱之內(nèi)。

Dwarkesh Patel

是的，盡管有些例子，例如生來失明的人，他們皮層的那個區(qū)域被另一種感官接管了。我不知道，但如果那些需要視覺信號的欲望或獎勵函數(shù)對于那些皮層區(qū)域被征用的人不再起作用，我會感到驚訝。

例如，如果你不再有視覺，你是否仍然能感覺到我希望周圍的人喜歡我這種感覺，通常這也有視覺線索。

Ilya Sutskever

我完全同意這一點。我認為對這個理論有一個更強的反駁。有些人童年時期被切除了一半大腦（大腦半球切除術），他們?nèi)匀粨碛兴械哪X區(qū)。但它們不知何故都移動到了一個半球，這表明腦區(qū)的位置不是固定的，所以那個理論是不正確的。

如果是真的那就太酷了，但它不是。所以我認為這是一個謎。但這是一個有趣的謎。事實是，不知何故進化能夠賦予我們非常非常可靠地關心社會事物的能力。即使是有各種奇怪的精神狀況、缺陷和情緒問題的人也傾向于關心這個。

Dwarkesh Patel

SSI 計劃做什么不同的事情？大概你們的計劃是當那個時刻到來時成為前沿公司之一。大概你創(chuàng)立 SSI 是因為你想，“我覺得我有一種方法可以安全地做這件事，而其他公司沒有。”那個區(qū)別是什么？

Ilya Sutskever

我會這樣描述，有一些我認為有前途的想法，我想調(diào)查它們，看看它們是否真的有前途。真的就這么簡單。這是一種嘗試。如果這些想法被證明是正確的——我們討論的這些圍繞理解泛化的想法——那么我認為我們將擁有有價值的東西。

它們會被證明是正確的嗎？我們在做研究。我們要實事求是地作為一家“研究時代”的公司。我們在取得進展。實際上我們在過去一年取得了相當不錯的進展，但我們需要繼續(xù)取得更多進展，更多研究。這就是我的看法。我看作是一種嘗試，試圖成為一個聲音和一個參與者。

Dwarkesh Patel

你的聯(lián)合創(chuàng)始人和前 CEO 最近離開去了 Meta，人們問，“好吧，如果有大量的突破正在發(fā)生，這看起來似乎是不太可能發(fā)生的事情。”我想知道你如何回應。

Ilya Sutskever

對此，我只想提醒幾個可能被遺忘的事實。我認為這些提供背景的事實解釋了情況。背景是我們當時正以 320 億美元的估值融資，然后 Meta 進來提議收購我們，我拒絕了。但在某種意義上，我的前聯(lián)合創(chuàng)始人同意了。結(jié)果，他也能夠享受到大量的近期流動性，他是 SSI 唯一加入 Meta 的人。

Dwarkesh Patel

聽起來 SSI 的計劃是當你到達人類歷史這一非常重要的時期，即擁有超人智能時，成為一家前沿公司。你有關于如何讓超人智能順利發(fā)展的想法。但其他公司也會嘗試他們自己的想法。是什么讓 SSI 使超級智能順利發(fā)展的方法與眾不同？

Ilya Sutskever

主要讓 SSI 與眾不同的是其技術方法。我們有不同的技術方法，我認為它是值得的，我們正在追求它。

我堅持認為最終會有戰(zhàn)略的趨同。我認為會有戰(zhàn)略的趨同，在某個時刻，隨著 AI 變得更強大，對每個人來說或多或少都會變得清晰，戰(zhàn)略應該是什么。它應該是這樣的：你需要找到某種方式互相交談，你希望你的第一個真正的超級智能 AI 是對齊的，并以某種方式關心感知生命、關心人類、民主，諸如此類，某種組合。

我認為這是每個人都應該爭取的條件。這就是 SSI 正在爭取的。我認為這一次，如果還沒發(fā)生的話，所有其他公司都會意識到他們正在朝著同一個目標努力。我們拭目以待。我認為隨著 AI 變得更強大，世界將真正改變。我認為事情會真的很不同，人們的行為也會真的很不同。

Dwarkesh Patel

說到預測，你對你描述的這個系統(tǒng)——它可以像人類一樣學習并因此隨后變成超人——的預測是什么？

Ilya Sutskever

我認為大概 5 到 20 年。

Dwarkesh Patel

5 到 20 年？

Ilya Sutskever

嗯。

Dwarkesh Patel

我想展開看看你可能如何看待未來的到來。就像，我們還有幾年時間，其他公司繼續(xù)當前的方法并停滯不前。“停滯不前”在這里是指他們的收入不超過幾千億？你如何思考停滯不前意味著什么？

Ilya Sutskever

我認為停滯不前看起來會……在所有不同的公司看來都非常相似。可能是這樣的。我不確定，因為即使停滯不前，我認為這些公司也能創(chuàng)造驚人的收入。也許不是利潤，因為他們需要努力使自己與彼此區(qū)分開來，但收入肯定是有的。

Dwarkesh Patel

但在你的模型中有些東西暗示，當正確的解決方案真的出現(xiàn)時，所有公司之間會有趨同。我很好奇你為什么認為會這樣。

Ilya Sutskever

我更多是在談論對齊策略的趨同。我認為最終技術方法的趨同可能也會發(fā)生，但我指的是對齊策略的趨同。到底應該做什么？

Dwarkesh Patel

我只是想更好地理解你如何看待未來的展開。目前，我們有這些不同的公司，你預計他們的方法會繼續(xù)產(chǎn)生收入但達不到這種類人學習者。所以現(xiàn)在我們有這些不同的公司分支。有你們，有 Thinking Machines，還有一堆其他實驗室。也許其中一個找到了正確的方法。但是他們產(chǎn)品的發(fā)布會讓其他人清楚如何做這件事。

Ilya Sutskever

我認為怎么做并不清楚，但有些不同的東西是可能的這一點會變得清楚，這就是信息。人們隨后會試圖弄清楚那是如何工作的。不過我確實認為，這里沒有提到、沒有討論的一件事是，隨著 AI 能力的每一次提升，我認為做事的方式會有某種變化，但我不知道具體是哪些變化。我認為這會很重要，但我無法確切拼出那是什么。

Dwarkesh Patel

默認情況下，你會預期擁有那個模型的公司會獲得所有這些收益，因為他們擁有在世界上積累技能和知識的模型。有什么理由認為這種好處會被廣泛分配，而不僅僅是最終落在最先讓這個終身學習循環(huán)運轉(zhuǎn)起來的模型公司手中？

Ilya Sutskever

我認為會發(fā)生以下情況。第一，讓我們看看過去的 AI 是如何發(fā)展的。一家公司取得了一項進展，另一家公司爭先恐后，在一段時間后也搞出了一些類似的東西，他們開始在市場上競爭并將價格壓低。所以我認為從市場角度來看，類似的事情也會發(fā)生。

順便說一句，我們談論的是美好的世界。什么是美好的世界？就是我們擁有這些強大的人類般的學習者，它們也是……順便說一下，也許還有一件事我們沒有討論，關于超級智能 AI 的規(guī)格，我認為值得考慮。那就是你把它做成狹義的，它可以同時是有用的和狹義的。你可以有很多狹義的超級智能 AI。

但假設你有很多這樣的 AI，你有一家公司從中賺取大量利潤。然后你有另一家公司進來開始競爭。競爭的方式將通過專業(yè)化進行。競爭喜歡專業(yè)化。你在市場上看到這一點，你在進化中也看到這一點。你會有很多不同的利基市場，你會有很多占據(jù)不同利基市場的不同公司。在這個世界上，我們可能會說一家 AI 公司在某些真正復雜的經(jīng)濟活動領域要好得多，而另一家公司在另一個領域更好。第三家公司非常擅長訴訟。

Dwarkesh Patel

這難道不與類人學習所暗示的相矛盾嗎？即它可以學習……

Ilya Sutskever

它可以，但你有積累的學習。你有巨大的投資。你花費了大量的算力才變得非常非常優(yōu)秀，在這個事情上真正非凡。別人花費了大量的算力和大量的經(jīng)驗才在其他事情上變得非常優(yōu)秀。你應用了大量的人類學習才到達那里，但現(xiàn)在你處于這個高點，別人會說，“看，我不想從頭開始學你已經(jīng)學過的東西。”

Dwarkesh Patel

我想這需要許多不同的公司同時開始擁有類人終身學習智能體，以便他們可以在不同的分支開始不同的樹搜索。但是，如果一家公司首先獲得了那個智能體，或者首先獲得了那個學習者，確實看起來……嗯，如果你只考慮經(jīng)濟中的每一份工作，讓一個實例學習每一份工作對于一家公司來說似乎是可行的。

Ilya Sutskever

這是一個有效的論點。我的強烈直覺是，事情不會這樣發(fā)展。論點說它會這樣發(fā)展，但我的強烈直覺是它不會這樣發(fā)展。理論上，理論和實踐沒有區(qū)別。在實踐中，是有區(qū)別的。我認為這將是其中之一。

Dwarkesh Patel

許多人的遞歸自我改進模型字面上、明確地指出，我們將在服務器中有 100 萬個 Ilya，他們會想出不同的想法，這將導致超級智能非常快地涌現(xiàn)。

你對你正在做的事情的可并行化有某種直覺嗎？復制 Ilya 的收益是什么？

Ilya Sutskever

我不知道。我認為肯定會有收益遞減，因為你想要思維不同的人，而不是相同的人。如果有我的字面副本，我不確定你會得到多少增量價值。思維不同的人，那才是你想要的。

Dwarkesh Patel

為什么如果你看不同的模型，即使是由完全不同的公司發(fā)布的，可能在不重疊的數(shù)據(jù)集上訓練的，LLM 彼此之間的相似程度實際上是瘋狂的？

Ilya Sutskever

也許數(shù)據(jù)集并不像看起來那樣不重疊。

Dwarkesh Patel

但在某種意義上，即使個人可能不如未來的 AI 那么多產(chǎn)，也許有些道理是人類團隊比 AI 團隊擁有更多的多樣性。我們?nèi)绾我l(fā) AI 之間有意義的多樣性？我認為僅僅提高溫度（temperature）只會導致胡言亂語。你想要更像是不同的科學家有不同的偏見或不同的想法。你如何在 AI 智能體之間獲得那種多樣性？

Ilya Sutskever

我相信，沒有多樣性的原因是預訓練。所有預訓練模型幾乎都是一樣的，因為它們在相同的數(shù)據(jù)上進行預訓練。現(xiàn)在的 RL 和后訓練（post-training）是一些差異化開始出現(xiàn)的地方，因為不同的人提出了不同的 RL 訓練。

Dwarkesh Patel

我過去聽你暗示過自我博弈（self-play）是一種獲取數(shù)據(jù)或?qū)⒅悄荏w與同等智能的其他智能體匹配以啟動學習的方式。我們應該如何思考為什么沒有關于這種東西在 LLM 上起作用的公開提議？

Ilya Sutskever

我會說有兩點。我認為自我博弈有趣的原因是因為它提供了一種僅使用算力而不使用數(shù)據(jù)來創(chuàng)建模型的方法。如果你認為數(shù)據(jù)是最終瓶頸，那么僅使用算力就非常有趣。這就是讓它有趣的原因。

問題是自我博弈，至少在過去的做法中——當你有以某種方式相互競爭的智能體時——它只對發(fā)展一套特定的技能有好處。它太狹窄了。它只對談判、沖突、某些社交技能、戰(zhàn)略制定那類東西有好處。如果你關心這些技能，那么自我博弈將是有用的。

實際上，我認為自我博弈確實找到了歸宿，只是形式不同。所以像辯論、證明者-驗證者（prover-verifier），你有某種 LLM-as-a-Judge（大模型作為裁判），它也被激勵去發(fā)現(xiàn)你工作中的錯誤。你可以說這不完全是自我博弈，但我相信這是人們正在做的一種相關的對抗性設置。

真正的自我博弈是智能體之間更普遍競爭的一個特例。對競爭的自然反應是試圖與眾不同。所以如果你把多個智能體放在一起，你告訴他們，“你們都需要處理某個問題，你是一個智能體，你在檢查其他人正在做什么，”他們會說，“好吧，如果他們已經(jīng)采取了這種方法，我不清楚我也應該追求它。我應該追求一些差異化的東西。”所以我認為像這樣的東西也可以為方法的多樣性創(chuàng)造激勵。

Dwarkesh Patel

最后一個問題：什么是研究品味（research taste）？你顯然被認為是世界上 AI 研究品味最好的人。你是深度學習歷史上發(fā)生的那些最重大事件的合著者，從 AlexNet 到 GPT-3 等等。它是什么，你如何描述你是如何想出這些主意的？

Ilya Sutskever

關于這一點我可以評論我自己。我認為不同的人做法不同。有一件事指引著我個人，那就是通過思考人類是怎樣的，但要正確地思考，來形成 AI 應該是怎樣的審美。很容易不正確地思考人類是怎樣的，但正確地思考人類意味著什么？

我給你舉幾個例子。人工神經(jīng)元的想法直接受到大腦的啟發(fā)，這是一個偉大的想法。為什么？因為你會說大腦有所有這些不同的器官，它有褶皺，但褶皺可能并不重要。為什么我們認為神經(jīng)元重要？因為有很多神經(jīng)元。這感覺是對的，所以你想要神經(jīng)元。你想要某種局部的學習規(guī)則來改變神經(jīng)元之間的連接。大腦這樣做感覺是合理的。

分布式表征的想法。大腦對經(jīng)驗做出反應，因此我們的神經(jīng)網(wǎng)絡應該從經(jīng)驗中學習的想法。大腦從經(jīng)驗中學習，神經(jīng)網(wǎng)絡應該從經(jīng)驗中學習。你會問自己，有些東西是根本的還是非根本的？事物應該是怎樣的。

我認為這對我指引頗多，從多個角度思考，幾乎是在尋找美，美和簡單。丑陋，沒有丑陋的容身之地。它是美、簡單、優(yōu)雅、來自大腦的正確靈感。所有這些東西都需要同時存在。它們越是同時存在，你就越能對一種自頂向下的信念充滿信心。

自頂向下的信念是當實驗與你相悖時支撐你的東西。因為如果你總是相信數(shù)據(jù)，嗯，有時候你可能在做正確的事情，但有個 bug。但你不知道有個 bug。你怎么分辨有沒有 bug？你怎么知道你是應該繼續(xù)調(diào)試還是斷定這是錯誤的方向？靠的是自頂向下。你會說事情必須是這樣的。像這樣的東西必須行得通，因此我們要繼續(xù)前進。那就是自頂向下，它是基于這種多層面的美和受大腦啟發(fā)而來的。

Dwarkesh Patel

好，我們就聊到這里

source：

https://www.youtube.com/watch?v=aR20FWCCjAs

--end--

最后記得??我，這對我非常重要，每天都在更新：

一鍵三連，歡迎點贊轉(zhuǎn)發(fā)推薦評論，別忘了關注我