Scaling時(shí)代終結(jié)了，Ilya Sutskever剛剛宣布

機(jī)器之心報(bào)道

機(jī)器之心編輯部

「Scaling 時(shí)代已經(jīng)終結(jié)。」

當(dāng)這句話出自 Ilya Sutskever 之口時(shí)，整個(gè) AI 社區(qū)都無(wú)法忽視。作為 Safe Superintelligence Inc. 的創(chuàng)始人，他在最新訪談中拋出的這一斷言，不僅令業(yè)內(nèi)震驚，更收獲了諸多重量級(jí)人物的共鳴。

這場(chǎng)由 Dwarkesh Patel 主持、長(zhǎng)達(dá) 95 分鐘的深度對(duì)話，上線短短數(shù)小時(shí)便在 X 平臺(tái)上突破了百萬(wàn)瀏覽量。從大模型的技術(shù)現(xiàn)狀到研究品味，再到對(duì)超級(jí)智能的終極構(gòu)想，Ilya 毫無(wú)保留。

以下是本次訪談的精華總結(jié)，帶你讀懂這位頂尖科學(xué)家的判斷與展望。

視頻地址：https://www.dwarkesh.com/p/ilya-sutskever-2

1. 模型能力的「參差不齊」(Model Jaggedness) 與泛化

• 現(xiàn)象： Ilya 指出當(dāng)前模型存在一種奇怪的矛盾 —— 它們能在高難度的評(píng)測(cè)（Evals）中表現(xiàn)出色，卻可能在簡(jiǎn)單的任務(wù)上反復(fù)犯錯(cuò)（如修 Bug 時(shí)引入新 Bug）。
• 解釋： 他認(rèn)為這可能源于「獎(jiǎng)勵(lì)黑客行為」（Reward Hacking）。人類研究員為了讓評(píng)測(cè)分?jǐn)?shù)好看，過(guò)度針對(duì)評(píng)測(cè)集進(jìn)行強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練，導(dǎo)致模型像是一個(gè)「只會(huì)做題」的學(xué)生，缺乏真正的理解和泛化能力。
• 對(duì)比： 他用「刷題家」與「有天賦的學(xué)生」做類比。目前的模型像刷了 10,000 小時(shí)題目的學(xué)生，雖然能解題但缺乏真正的智能；而人類（有天賦的學(xué)生）即使練習(xí)很少，也能展現(xiàn)出更好的泛化能力。

2. 情緒、價(jià)值函數(shù)與人類學(xué)習(xí)

• 情緒的本質(zhì)： Ilya 提出一個(gè)深刻的見(jiàn)解，認(rèn)為人類的情緒類似于機(jī)器學(xué)習(xí)中的價(jià)值函數(shù) (Value Function)。情緒并非無(wú)用的累贅，而是進(jìn)化的產(chǎn)物，幫助我們?cè)诼L(zhǎng)的時(shí)間跨度中，在獲得最終結(jié)果之前就判斷當(dāng)前決策的好壞（例如下棋丟子時(shí)的「懊惱」）。
• 學(xué)習(xí)效率： 人類的學(xué)習(xí)效率遠(yuǎn)高于 AI（樣本效率高）。這不僅僅是因?yàn)檫M(jìn)化留下的先驗(yàn)知識(shí)（如視覺(jué)、運(yùn)動(dòng)），更因?yàn)槿祟悡碛心撤N基于價(jià)值函數(shù)的內(nèi)在學(xué)習(xí)機(jī)制，能夠進(jìn)行持續(xù)學(xué)習(xí) (Continual Learning) 和自我糾正。

3. AI 發(fā)展的階段轉(zhuǎn)變：從「擴(kuò)展」到「研究」

• 擴(kuò)展時(shí)代 (Age of Scaling, 2020-2025)： 過(guò)去幾年，「擴(kuò)展 (Scaling)」是主旋律，只要堆算力和數(shù)據(jù)（主要是預(yù)訓(xùn)練）就能獲得提升。
• 研究時(shí)代 (Age of Research)： 現(xiàn)在，預(yù)訓(xùn)練數(shù)據(jù)即將耗盡，且單純擴(kuò)大規(guī)模的回報(bào)在邊際遞減。我們重新回到了「研究時(shí)代」。這意味著不能只靠盲目擴(kuò)大規(guī)模，而是要尋找新的「配方」（Recipe），更聰明地使用算力（例如在強(qiáng)化學(xué)習(xí)和推理過(guò)程中）。

4. Safe Superintelligence Inc. (SSI) 的戰(zhàn)略

• 直通超級(jí)智能 (Straight-shotting)： 與 OpenAI 等公司逐步發(fā)布產(chǎn)品不同，SSI 傾向于專注于研發(fā)，直到解決安全超級(jí)智能的問(wèn)題后再發(fā)布。盡管 Ilya 也承認(rèn)逐步發(fā)布有助于讓世界適應(yīng)，但他認(rèn)為避免商業(yè)競(jìng)爭(zhēng)的「老鼠賽跑」對(duì)安全至關(guān)重要。
• 技術(shù)路徑： SSI 試圖解決根本性的技術(shù)問(wèn)題（如可靠的泛化），而不是僅僅在現(xiàn)有范式上修修補(bǔ)補(bǔ)。
• 商業(yè)模式： 目前專注于研究，不急于通過(guò)產(chǎn)品獲利。

5. 對(duì)齊與未來(lái)展望

• 關(guān)愛(ài)感知生命： Ilya 提出的核心對(duì)齊目標(biāo)是「關(guān)愛(ài)感知生命 (Care for sentient life)」。他認(rèn)為這是一個(gè)比單純「聽(tīng)從人類指令」更穩(wěn)健的目標(biāo)，因?yàn)?AI 本身也將是感知生命的一部分。
• 多智能體與生態(tài)： 未來(lái)可能會(huì)有多個(gè)大陸級(jí)規(guī)模的 AI 集群。只要前幾個(gè)最強(qiáng)大的 AI 是對(duì)齊的（關(guān)愛(ài)生命的），世界可能會(huì)進(jìn)入一個(gè)良性發(fā)展的軌道。
• 長(zhǎng)期均衡： 他設(shè)想了一種長(zhǎng)期均衡狀態(tài)，人類通過(guò)腦機(jī)接口（如 Neuralink++）與 AI 融合，成為「半 AI」，從而避免被完全邊緣化。

6. 研究品味

• 審美與直覺(jué)： Ilya 分享了他的研究哲學(xué)。他依靠一種「自上而下」的信念，這種信念源于對(duì)美、簡(jiǎn)單性的追求以及對(duì)生物學(xué)（大腦）的正確借鑒。
• 堅(jiān)持： 當(dāng)實(shí)驗(yàn)數(shù)據(jù)與直覺(jué)相悖時(shí)，這種基于美的信念能支撐研究者繼續(xù)尋找 Bug 或堅(jiān)持方向，而不是輕易放棄。

以下為采訪完整內(nèi)容的轉(zhuǎn)錄和翻譯。

解釋模型能力的參差不齊

Ilya Sutskever： 你知道什么最瘋狂嗎？這一切都是真實(shí)的。

Dwarkesh Patel： 指的是什么？

Ilya Sutskever： 你不覺(jué)得嗎？所有這些 AI 的東西，整個(gè)灣區(qū)的氛圍…… 它正在發(fā)生。這難道不像是科幻小說(shuō)里的情節(jié)嗎？

Dwarkesh Patel： 另一件瘋狂的事是，這種「緩慢起飛 (slow takeoff)」的感覺(jué)是多么的平淡無(wú)奇。按理說(shuō)，如果我們正在將 GDP 的 1% 投入到 AI 中，感覺(jué)應(yīng)該會(huì)更轟動(dòng)一些，但現(xiàn)在感覺(jué)就像……

Ilya Sutskever： 事實(shí)證明，我們適應(yīng)得很快。而且這也比較抽象。這意味著什么呢？意味著你在新聞里看到某某公司宣布了某某金額的投資。你看到的僅此而已。到目前為止，還沒(méi)有在其他方面真正感受到它。

Dwarkesh Patel： 我們要從這里開(kāi)始嗎？我覺(jué)得這是個(gè)有趣的討論點(diǎn)。

Ilya Sutskever： 當(dāng)然。

Dwarkesh Patel： 我認(rèn)為你的觀點(diǎn)是，從普通人的角度來(lái)看，沒(méi)什么太大的不同。這種感覺(jué)甚至在進(jìn)入奇點(diǎn) (singularity) 之后還會(huì)持續(xù)。

Ilya Sutskever： 不，我不這么認(rèn)為。

Dwarkesh Patel： 好的，這很有趣。

Ilya Sutskever： 我剛才指的「感覺(jué)沒(méi)什么不同」，是因?yàn)槟衬彻拘剂艘粋€(gè)難以理解的巨額投資數(shù)字，我覺(jué)得沒(méi)人知道該拿這些錢(qián)干什么。

但我認(rèn)為 AI 的影響將會(huì)被切實(shí)感受到。AI 將滲透到整個(gè)經(jīng)濟(jì)中。會(huì)有非常強(qiáng)大的經(jīng)濟(jì)力量推動(dòng)這一點(diǎn)，我認(rèn)為這種影響將會(huì)非常強(qiáng)烈。

Dwarkesh Patel： 你預(yù)期這種影響什么時(shí)候會(huì)到來(lái)？目前的模型似乎比它們產(chǎn)生的經(jīng)濟(jì)影響要聰明得多。

Ilya Sutskever： 是的。這是目前模型非常令人困惑的地方之一。如何調(diào)和這樣一個(gè)事實(shí)：它們?cè)谠u(píng)測(cè) (evals) 上表現(xiàn)得如此出色？你看那些評(píng)測(cè)會(huì)想，「這些題目挺難的。」它們做得很好。但經(jīng)濟(jì)影響似乎大大滯后。很難理解，為什么模型一方面能做這些驚人的事情，另一方面卻會(huì)在某些情況下重復(fù)犯錯(cuò)？

舉個(gè)例子，假設(shè)你用「Vibe Coding」（憑感覺(jué)編程 / 氛圍編碼）做點(diǎn)什么。你寫(xiě)到某個(gè)地方，然后出了個(gè) Bug。你告訴模型：「能不能修一下這個(gè) Bug？」模型說(shuō)：「天哪，你說(shuō)得太對(duì)了。我有個(gè) Bug。讓我去修好它。」然后它引入了第二個(gè) Bug。你告訴它：「你有這個(gè)新的 Bug。」它說(shuō)：「天哪，我怎么會(huì)這樣？你又說(shuō)對(duì)了。」然后它把第一個(gè) Bug 又帶回來(lái)了，你就在這兩個(gè) Bug 之間來(lái)回折騰。這怎么可能呢？我不確定，但這確實(shí)表明有些奇怪的事情正在發(fā)生。

我有兩個(gè)可能的解釋。比較異想天開(kāi)的解釋是，也許強(qiáng)化學(xué)習(xí) (RL) 訓(xùn)練讓模型變得有點(diǎn)過(guò)于一根筋和視野狹窄，有點(diǎn)過(guò)于缺乏意識(shí)，盡管這同時(shí)也讓它們?cè)谄渌矫娓幸庾R(shí)。正因?yàn)槿绱耍鼈儫o(wú)法完成一些基本的事情。

但還有另一種解釋。過(guò)去人們做預(yù)訓(xùn)練 (pre-training) 時(shí)，「用什么數(shù)據(jù)訓(xùn)練」這個(gè)問(wèn)題的答案很簡(jiǎn)單，就是所有數(shù)據(jù)。做預(yù)訓(xùn)練時(shí)，你需要所有的數(shù)據(jù)。所以你不必糾結(jié)是用這個(gè)數(shù)據(jù)還是那個(gè)數(shù)據(jù)。

但當(dāng)人們做 RL 訓(xùn)練時(shí)，他們必須思考。他們會(huì)說(shuō)：「好吧，我們想為這個(gè)任務(wù)做這類 RL 訓(xùn)練，為那個(gè)任務(wù)做那類 RL 訓(xùn)練。」據(jù)我所知，所有公司都有專門(mén)的團(tuán)隊(duì)負(fù)責(zé)生成新的 RL 環(huán)境并將其添加到訓(xùn)練混合中。問(wèn)題是，這些環(huán)境是什么？自由度太高了。你可以生成的 RL 環(huán)境種類繁多。

有一件事是可以做的，我認(rèn)為這也是人們無(wú)意中在做的事情，就是從評(píng)測(cè)集 (evals) 中獲取靈感。你會(huì)說(shuō)：「嘿，我希望我們的模型發(fā)布時(shí)表現(xiàn)出色。我希望評(píng)測(cè)結(jié)果看起來(lái)很棒。什么樣的 RL 訓(xùn)練能在這些任務(wù)上有所幫助？」我認(rèn)為這是正在發(fā)生的事情，它可以解釋很多現(xiàn)象。

如果你把這點(diǎn)與模型實(shí)際上泛化能力不足結(jié)合起來(lái)看，這就有可能解釋我們所看到的很多現(xiàn)象 —— 即評(píng)測(cè)性能與實(shí)際現(xiàn)實(shí)世界性能之間的脫節(jié)。這是我們今天甚至還沒(méi)完全理解其含義的事情。

Dwarkesh Patel： 我喜歡這個(gè)觀點(diǎn)：真正的獎(jiǎng)勵(lì)黑客 (reward hacking) 行為其實(shí)是人類研究員，他們太關(guān)注評(píng)測(cè)結(jié)果了。

關(guān)于你剛才指出的這一點(diǎn)，我認(rèn)為有兩種理解方式。一種是，如果僅僅通過(guò)在編程競(jìng)賽中達(dá)到超人類水平，模型并不會(huì)自動(dòng)變得更有品位、在改進(jìn)代碼庫(kù)時(shí)擁有更好的判斷力，那么你應(yīng)該擴(kuò)展環(huán)境套件，不僅僅測(cè)試它在編程競(jìng)賽中的表現(xiàn)，還要讓它能夠?yàn)?X、Y 或 Z 做出最好的應(yīng)用。

另一種，也許正是你暗示的，是問(wèn)：「為什么在編程競(jìng)賽中達(dá)到超人類水平，卻不能讓你在更廣泛的意義上成為一個(gè)更有品位的程序員？」也許我們要做的不是不斷堆砌環(huán)境的數(shù)量和多樣性，而是找出一種方法，讓你能從一個(gè)環(huán)境中學(xué)習(xí)，進(jìn)而提高在其他事情上的表現(xiàn)。

Ilya Sutskever： 我有一個(gè)人類的類比可能很有幫助。既然你提到了編程競(jìng)賽，我們就以此為例。假設(shè)有兩個(gè)學(xué)生。其中一個(gè)決定要成為最好的競(jìng)賽程序員，所以他在該領(lǐng)域練習(xí)了 10,000 小時(shí)。他解決了所有問(wèn)題，背誦了所有證明技巧，并且非常熟練地快速、正確地實(shí)現(xiàn)所有算法。通過(guò)這樣做，他成為了頂尖選手之一。

二號(hào)學(xué)生覺(jué)得：「哦，編程競(jìng)賽挺酷的。」也許他只練了 100 小時(shí)，少得多，但也做得很好。你認(rèn)為哪一個(gè)在以后的職業(yè)生涯中會(huì)做得更好？

Dwarkesh Patel： 第二個(gè)。

Ilya Sutskever： 對(duì)。我認(rèn)為這就是目前正在發(fā)生的情況。現(xiàn)在的模型更像第一個(gè)學(xué)生，甚至有過(guò)之而無(wú)不及。因?yàn)槲覀儠?huì)說(shuō)，模型應(yīng)該擅長(zhǎng)編程競(jìng)賽，所以讓我們把有史以來(lái)所有的編程競(jìng)賽題都拿來(lái)。然后我們?cè)僮鲆恍?shù)據(jù)增強(qiáng)，這樣我們就有了更多的題目，并在上面進(jìn)行訓(xùn)練。現(xiàn)在你有了一個(gè)很棒的競(jìng)賽程序員。

用這個(gè)類比就更直觀了。是的，好吧，既然訓(xùn)練得這么好，所有不同的算法和證明技巧都信手拈來(lái)。但更直觀的是，這種程度的準(zhǔn)備并不一定能泛化到其他事情上。

Dwarkesh Patel： 那么，第二個(gè)學(xué)生在做那 100 小時(shí)的微調(diào) (fine-tuning) 之前，他在做什么？對(duì)應(yīng)的類比是什么？

Ilya Sutskever： 我覺(jué)得是因?yàn)樗麄冇小改莻€(gè)東西」（it）。一種天賦因素。我讀本科的時(shí)候，記得有個(gè)同學(xué)就是這樣，所以我知道這種人是存在的。

Dwarkesh Patel： 我覺(jué)得區(qū)分「天賦」和預(yù)訓(xùn)練的作用很有趣。理解你剛才關(guān)于「預(yù)訓(xùn)練不用選擇數(shù)據(jù)」的一種方式是，這其實(shí)和 10,000 小時(shí)的練習(xí)沒(méi)什么不同。只是你在預(yù)訓(xùn)練分布中已經(jīng)免費(fèi)獲得了這 10,000 小時(shí)的練習(xí)。但也許你的意思是，其實(shí)從預(yù)訓(xùn)練中獲得的泛化并沒(méi)有那么多。預(yù)訓(xùn)練中雖然有海量數(shù)據(jù)，但它并不一定比 RL 泛化得更好。

Ilya Sutskever： 預(yù)訓(xùn)練的主要優(yōu)勢(shì)在于：A，數(shù)據(jù)量巨大；B，你不需要費(fèi)盡心思去想把什么數(shù)據(jù)放入預(yù)訓(xùn)練中。這是非常自然的數(shù)據(jù)，其中確實(shí)包含了很多人類的行為：人們的思想和大量的特征 (features)。它就像是整個(gè)世界被人類投射到了文本上，而預(yù)訓(xùn)練試圖利用海量數(shù)據(jù)來(lái)捕捉這一點(diǎn)。

預(yù)訓(xùn)練很難進(jìn)行推理分析，因?yàn)楹茈y理解模型以何種方式依賴預(yù)訓(xùn)練數(shù)據(jù)。每當(dāng)模型犯錯(cuò)時(shí)，是不是因?yàn)槟承〇|西恰好沒(méi)有得到預(yù)訓(xùn)練數(shù)據(jù)的充分支持？「預(yù)訓(xùn)練的支持」也許是個(gè)寬泛的術(shù)語(yǔ)。我不知道我還能對(duì)此補(bǔ)充什么更有用的信息。我不認(rèn)為人類有類似預(yù)訓(xùn)練的過(guò)程。

情緒與價(jià)值函數(shù)

Dwarkesh Patel： 關(guān)于人類類似預(yù)訓(xùn)練的過(guò)程，人們提出過(guò)一些類比。我很想聽(tīng)聽(tīng)你為什么認(rèn)為它們可能是錯(cuò)的。一種是認(rèn)為這就像人生的前 18、15 或 13 年，那時(shí)他們不一定在創(chuàng)造經(jīng)濟(jì)價(jià)值，但他們?cè)谧鲆恍┦虑橐愿玫乩斫馐澜纭Ａ硪环N是將進(jìn)化視為一種持續(xù) 30 億年的搜索，最終產(chǎn)生了一個(gè)人類生命的實(shí)例。

你認(rèn)為這些類比中哪一個(gè)接近預(yù)訓(xùn)練嗎？如果你不認(rèn)為那是預(yù)訓(xùn)練，你會(huì)如何看待人類的終身學(xué)習(xí)？

Ilya Sutskever： 我認(rèn)為這兩者與預(yù)訓(xùn)練都有相似之處，預(yù)訓(xùn)練試圖扮演這兩者的角色。但我認(rèn)為也有很大的不同。預(yù)訓(xùn)練的數(shù)據(jù)量是非常非常驚人的。

Dwarkesh Patel： 是的。

Ilya Sutskever： 不知何故，一個(gè)人即使過(guò)了 15 年，接觸到的數(shù)據(jù)量只是預(yù)訓(xùn)練的一小部分，他們知道的信息量少得多。但無(wú)論他們知道什么，他們似乎理解得更深刻。在那個(gè)年紀(jì)，你已經(jīng)不會(huì)犯我們的 AI 所犯的那些錯(cuò)誤了。

還有另一件事。你可能會(huì)說(shuō)，這會(huì)不會(huì)像進(jìn)化？答案是也許。但在這種情況下，我認(rèn)為進(jìn)化實(shí)際上可能更有優(yōu)勢(shì)。我記得讀過(guò)這樣一個(gè)案例。神經(jīng)科學(xué)家了解大腦的一種方法是研究大腦不同部位受損的人。有些人會(huì)出現(xiàn)你能想象到的最奇怪的癥狀。這真的非常有意思。

我想到一個(gè)相關(guān)的案例。我讀到過(guò)一個(gè)人，他因某種腦損傷、中風(fēng)或事故，喪失了情緒處理能力。所以他不再感受到任何情緒。他仍然非常善于表達(dá)，可以解決小謎題，在測(cè)試中看起來(lái)一切正常。但他感覺(jué)不到情緒。他不覺(jué)得悲傷，不覺(jué)得憤怒，也不覺(jué)得興奮。不知何故，他在做任何決定時(shí)都變得極度糟糕。決定穿哪雙襪子都要花好幾個(gè)小時(shí)。他會(huì)做出非常糟糕的財(cái)務(wù)決策。

這說(shuō)明了什么？關(guān)于我們內(nèi)置的情緒在使我們成為一個(gè)可行主體 (viable agent) 方面的作用？回到你關(guān)于預(yù)訓(xùn)練的問(wèn)題，也許如果你足夠擅長(zhǎng)從預(yù)訓(xùn)練中挖掘一切，你也能得到那個(gè)東西。但這看起來(lái)像是…… 好吧，從預(yù)訓(xùn)練中獲得那個(gè)東西可能是可能的，也可能不可能。

Dwarkesh Patel： 「那個(gè)東西」是什么？顯然不僅僅是直接的情緒。它看起來(lái)幾乎像某種價(jià)值函數(shù) (value function) 似的東西，它告訴你任何決定的最終回報(bào)應(yīng)該是什么。你認(rèn)為這不會(huì)從預(yù)訓(xùn)練中隱式地產(chǎn)生嗎？

Ilya Sutskever： 我認(rèn)為它是可以產(chǎn)生的。我只是說(shuō)這并不是 100% 顯而易見(jiàn)的。

Dwarkesh Patel： 但那是什么呢？你怎么看待情緒？情緒在機(jī)器學(xué)習(xí) (ML) 中的類比是什么？

Ilya Sutskever： 它應(yīng)該是某種價(jià)值函數(shù)的東西。但我認(rèn)為目前沒(méi)有一個(gè)很好的 ML 類比，因?yàn)楝F(xiàn)在價(jià)值函數(shù)在人們做的事情中并沒(méi)有扮演非常突出的角色。

Dwarkesh Patel： 也許值得為聽(tīng)眾定義一下什么是價(jià)值函數(shù)，如果你愿意的話。

Ilya Sutskever： 當(dāng)然，我很樂(lè)意。當(dāng)人們做強(qiáng)化學(xué)習(xí) (RL) 時(shí)，目前 RL 是怎么做的？人們?nèi)绾斡?xùn)練這些智能體 (agents)？你有一個(gè)神經(jīng)網(wǎng)絡(luò)，你給它一個(gè)問(wèn)題，然后告訴模型：「去解決它。」模型會(huì)進(jìn)行也許數(shù)千、數(shù)十萬(wàn)次的動(dòng)作或思考，然后生成一個(gè)解決方案。這個(gè)解決方案會(huì)被打分。

然后這個(gè)分?jǐn)?shù)被用來(lái)為你的軌跡中的每一個(gè)動(dòng)作提供訓(xùn)練信號(hào)。這意味著如果你在做一件持續(xù)時(shí)間很長(zhǎng)的事情 —— 如果你在訓(xùn)練一個(gè)需要很長(zhǎng)時(shí)間才能解決的任務(wù) —— 在你想出提議的解決方案之前，它根本不會(huì)進(jìn)行任何學(xué)習(xí)。這是最原始的強(qiáng)化學(xué)習(xí)做法。這也是 o1、R1 表面上的做法。

價(jià)值函數(shù)會(huì)說(shuō)類似這樣的話：「也許我可以有時(shí) —— 不總是 —— 告訴你你做得好還是壞。」價(jià)值函數(shù)的概念在某些領(lǐng)域比其他領(lǐng)域更有用。例如，當(dāng)你下國(guó)際象棋丟了一個(gè)子，我搞砸了。你不需要下完整盤(pán)棋就知道我剛才做的那步很糟糕，因此在此之前的一系列操作也很糟糕。

價(jià)值函數(shù)讓你不必等到最后。假設(shè)你在做某種數(shù)學(xué)或編程的事情，你試圖探索特定的解決方案或方向。在思考了，比如說(shuō)一千步之后，你得出結(jié)論這個(gè)方向沒(méi)希望。一旦你得出這個(gè)結(jié)論，你其實(shí)早在以前的一千個(gè)時(shí)間步之前，當(dāng)你決定沿著這條路走的時(shí)候，就可以得到一個(gè)獎(jiǎng)勵(lì)信號(hào)了。你會(huì)說(shuō)：「下次在類似情況下我不應(yīng)該走這條路」，這比起你真正拿出解決方案要早得多。

Dwarkesh Patel： 這在 DeepSeek R1 的論文里提到過(guò) —— 軌跡空間太寬廣了，也許很難學(xué)習(xí)從中間軌跡到價(jià)值的映射。而且考慮到，比如在寫(xiě)代碼時(shí)，你可能會(huì)有一個(gè)錯(cuò)誤的想法，然后你會(huì)回去修改。

Ilya Sutskever： 這聽(tīng)起來(lái)對(duì)深度學(xué)習(xí)太沒(méi)信心了。當(dāng)然這可能很難，但沒(méi)什么深度學(xué)習(xí)做不到的。我的預(yù)期是價(jià)值函數(shù)應(yīng)該是有用的，我完全預(yù)期它們將在未來(lái)被使用，如果現(xiàn)在還沒(méi)被使用的話。

我之前提到的那個(gè)情感中樞受損的人，我想表達(dá)的是，也許這表明人類的價(jià)值函數(shù)在某種重要的方面受到情緒的調(diào)節(jié)，這種調(diào)節(jié)是由進(jìn)化硬編碼的。也許這對(duì)于人類在這個(gè)世界上有效行動(dòng)很重要。

Dwarkesh Patel： 這正是我打算問(wèn)你的。關(guān)于價(jià)值函數(shù)的情緒有一些非常有趣的地方，那就是雖然它們相當(dāng)容易理解，卻擁有如此巨大的效用，這令人印象深刻。

Ilya Sutskever： 我有兩個(gè)回應(yīng)。我確實(shí)同意，相比于我們學(xué)到的東西和我們?cè)谡務(wù)摰?AI 類型，情緒相對(duì)簡(jiǎn)單。它們甚至可能簡(jiǎn)單到你可以用人類能理解的方式將它們映射出來(lái)。我覺(jué)得這樣做會(huì)很酷。

不過(guò)就效用而言，我認(rèn)為存在一種復(fù)雜性與魯棒性（robustness）的權(quán)衡，復(fù)雜的東西可能非常有用，但簡(jiǎn)單的東西在非常廣泛的情況下非常有用。解釋我們所見(jiàn)現(xiàn)象的一種方式是，我們的情緒主要從哺乳動(dòng)物祖先那里進(jìn)化而來(lái)，然后在我們成為人科動(dòng)物時(shí)微調(diào)了一點(diǎn)點(diǎn)，只是一點(diǎn)點(diǎn)。我們確實(shí)有相當(dāng)數(shù)量的社會(huì)性情緒，這是哺乳動(dòng)物可能缺乏的。但它們并不是非常復(fù)雜。正因?yàn)樗鼈儾粡?fù)雜，所以在這個(gè)與我們過(guò)去生活的世界截然不同的現(xiàn)代世界中，它們依然能很好地為我們服務(wù)。

實(shí)際上，它們也會(huì)犯錯(cuò)。例如，我們的情緒…… 其實(shí)我不知道，饑餓算是一種情緒嗎？這有爭(zhēng)議。但我認(rèn)為，例如我們直覺(jué)上的饑餓感，在當(dāng)今這個(gè)食物充足的世界里并沒(méi)有成功地正確引導(dǎo)我們。

我們?cè)跀U(kuò)展什么？

Dwarkesh Patel： 人們一直在談?wù)摂U(kuò)展數(shù)據(jù)、擴(kuò)展參數(shù)、擴(kuò)展算力。有沒(méi)有更通用的方式來(lái)思考擴(kuò)展？其他的擴(kuò)展軸是什么？

Ilya Sutskever： 這里有一個(gè)我認(rèn)為可能是正確的視角。過(guò)去 ML 的工作方式是人們只是修修補(bǔ)補(bǔ)，試圖得到有趣的結(jié)果。這是過(guò)去的情況。

然后擴(kuò)展的洞察力到來(lái)了。擴(kuò)展定律 (Scaling laws)、GPT-3，突然之間大家都意識(shí)到我們應(yīng)該進(jìn)行擴(kuò)展。這是語(yǔ)言如何影響思想的一個(gè)例子。「擴(kuò)展 (Scaling)」只是一個(gè)詞，但它是一個(gè)非常有力的詞，因?yàn)樗嬖V人們?cè)撟鍪裁础Ｋ麄冋f(shuō)，「讓我們?cè)囍鴶U(kuò)展東西。」所以你會(huì)問(wèn)，我們?cè)跀U(kuò)展什么？預(yù)訓(xùn)練是那個(gè)被擴(kuò)展的東西。它是一個(gè)特定的擴(kuò)展配方。

預(yù)訓(xùn)練的巨大突破在于意識(shí)到這個(gè)配方是好的。你會(huì)說(shuō)：「嘿，如果你把一些算力和一些數(shù)據(jù)混合到一個(gè)特定大小的神經(jīng)網(wǎng)絡(luò)中，你就會(huì)得到結(jié)果。你知道只要按比例放大這個(gè)配方，效果就會(huì)更好。」這也很棒。公司喜歡這個(gè)，因?yàn)樗鼮槟闾峁┝艘环N非常低風(fēng)險(xiǎn)的資源投資方式。

相比之下，把資源投入到研究中要困難得多。如果做研究，你需要說(shuō)：「去吧，研究人員，去研究并想出點(diǎn)東西來(lái)」，而不是「獲取更多數(shù)據(jù)，獲取更多算力」。你知道你會(huì)從預(yù)訓(xùn)練中得到東西。

確實(shí)，根據(jù)一些人在 Twitter 上的說(shuō)法，看起來(lái)也許 Gemini 已經(jīng)找到了一種從預(yù)訓(xùn)練中挖掘更多價(jià)值的方法。但到了某個(gè)時(shí)候，預(yù)訓(xùn)練的數(shù)據(jù)將會(huì)耗盡。數(shù)據(jù)顯然是有限的。接下來(lái)做什么？要么你做某種加強(qiáng)版的預(yù)訓(xùn)練 —— 一種不同于以往的配方，要么你做 RL，或者其他什么。但現(xiàn)在既然算力很大，算力現(xiàn)在非常巨大，從某種意義上說(shuō)，我們又回到了研究時(shí)代。

也許這是另一種說(shuō)法。直到 2020 年，從 2012 年到 2020 年，那是研究的時(shí)代。現(xiàn)在，從 2020 年到 2025 年，是擴(kuò)展的時(shí)代 —— 也許加上誤差范圍 —— 因?yàn)槿藗冋f(shuō)：「這太神奇了。你得擴(kuò)展更多。繼續(xù)擴(kuò)展。」就這一個(gè)詞：擴(kuò)展。

但現(xiàn)在的規(guī)模已經(jīng)太大了。人們真的相信「哦，雖然現(xiàn)在很大，但如果你有 100 倍以上，一切都會(huì)變得如此不同」嗎？肯定會(huì)有所不同。但真的相信只要將規(guī)模擴(kuò)大 100 倍，一切都會(huì)發(fā)生質(zhì)變嗎？我不認(rèn)為那是真的。所以這又回到了研究時(shí)代，只是有了更大的計(jì)算機(jī)。

Dwarkesh Patel： 這是一種非常有趣的說(shuō)法。但讓我問(wèn)你剛才提出的問(wèn)題。我們?cè)跀U(kuò)展什么，擁有一個(gè)配方意味著什么？我想我沒(méi)意識(shí)到在預(yù)訓(xùn)練中存在一種非常清晰的關(guān)系，幾乎像物理定律一樣。在數(shù)據(jù)、算力或參數(shù)與損失 (loss) 之間存在冪律關(guān)系。我們應(yīng)該尋求什么樣的關(guān)系，我們應(yīng)該如何思考這個(gè)新配方可能是什么樣子的？

Ilya Sutskever： 我們已經(jīng)目睹了從一種類型的擴(kuò)展到另一種類型擴(kuò)展的轉(zhuǎn)變，從預(yù)訓(xùn)練到 RL。現(xiàn)在人們正在擴(kuò)展 RL。根據(jù)人們?cè)?Twitter 上的說(shuō)法，他們現(xiàn)在花在 RL 上的算力比花在預(yù)訓(xùn)練上的還多，因?yàn)?RL 實(shí)際上可以消耗相當(dāng)多的算力。你做很長(zhǎng)的展開(kāi) (rollouts)，所以產(chǎn)生這些展開(kāi)需要大量的算力。然后你從每個(gè)展開(kāi)中獲得相對(duì)較少的學(xué)習(xí)量，所以你真的可以消耗大量的算力。

我甚至不會(huì)稱之為擴(kuò)展。我會(huì)說(shuō)：「嘿，你在做什么？你做的事情是你所能做的最高效的事情嗎？你能找到一種更高效利用算力的方法嗎？」我們之前討論過(guò)價(jià)值函數(shù)的事情。也許一旦人們擅長(zhǎng)使用價(jià)值函數(shù)，他們就會(huì)更高效地利用資源。如果你找到了另一種完全不同的訓(xùn)練模型的方法，你會(huì)說(shuō)：「這是擴(kuò)展還是僅僅是在使用資源？」我認(rèn)為這變得有點(diǎn)模棱兩可。

某種意義上，當(dāng)人們回到那時(shí)的研究時(shí)代，就是：「讓我們?cè)囋囘@個(gè)、這個(gè)和這個(gè)。讓我們?cè)囋嚹莻€(gè)、那個(gè)和那個(gè)。哦，看，有趣的事情發(fā)生了。」我認(rèn)為將會(huì)回歸到這種狀態(tài)。

Dwarkesh Patel： 如果我們回到研究時(shí)代，退一步說(shuō)，我們需要思考的配方中最重要的是哪一部分？當(dāng)你說(shuō)價(jià)值函數(shù)時(shí)，人們已經(jīng)在嘗試當(dāng)前的配方了，但之后會(huì)有大模型作為裁判 (LLM-as-a-Judge) 之類的東西。你可以說(shuō)那是價(jià)值函數(shù)，但聽(tīng)起來(lái)你腦海中有更根本的東西。我們是否應(yīng)該徹底重新思考預(yù)訓(xùn)練，而不僅僅是在那個(gè)過(guò)程的末尾添加更多步驟？

Ilya Sutskever： 關(guān)于價(jià)值函數(shù)的討論，我認(rèn)為很有趣。我想強(qiáng)調(diào)的是，我認(rèn)為價(jià)值函數(shù)會(huì)讓 RL 更有效率，這會(huì)有所不同。但我認(rèn)為任何你能用價(jià)值函數(shù)做的事，你也可以不用它做，只是慢一點(diǎn)。我認(rèn)為最根本的事情是，這些模型的泛化能力不知何故比人類差得多。這是超級(jí)明顯的。這似乎是一件非常根本的事情。

為什么人類比模型泛化得更好

Dwarkesh Patel： 這就是關(guān)鍵所在：泛化。這有兩個(gè)子問(wèn)題。一個(gè)是關(guān)于樣本效率 (sample efficiency)：為什么這些模型學(xué)習(xí)需要比人類多得多的數(shù)據(jù)？還有第二個(gè)問(wèn)題。即使撇開(kāi)數(shù)據(jù)量不談，為什么教模型我們要的東西比教人類要難得多？對(duì)于人類，我們不一定需要一個(gè)可驗(yàn)證的獎(jiǎng)勵(lì)…… 你可能正在指導(dǎo)一群研究人員，你和他們交談，給他們看你的代碼，向他們展示你是如何思考的。從中，他們學(xué)會(huì)了你的思維方式以及他們應(yīng)該如何做研究。

你不必為他們?cè)O(shè)定一個(gè)可驗(yàn)證的獎(jiǎng)勵(lì)，比如：「好，這是課程的下一部分，現(xiàn)在這是你課程的下一部分。哦，這次訓(xùn)練不穩(wěn)定。」沒(méi)有這種繁瑣、定制的過(guò)程。也許這兩個(gè)問(wèn)題實(shí)際上以某種方式相關(guān)，但我很好奇探索這第二個(gè)東西，它更像持續(xù)學(xué)習(xí) (continual learning)，而第一個(gè)東西感覺(jué)就像樣本效率。

Ilya Sutskever： 實(shí)際上你可以懷疑，對(duì)于人類樣本效率的一個(gè)可能解釋是進(jìn)化。進(jìn)化給了我們少量但最有用的信息。對(duì)于視覺(jué)、聽(tīng)覺(jué)和運(yùn)動(dòng)這些事情，我認(rèn)為有很強(qiáng)的理由證明進(jìn)化給了我們很多。

例如，人類的靈巧度遠(yuǎn)遠(yuǎn)超過(guò)…… 我的意思是，如果你在模擬環(huán)境中對(duì)機(jī)器人進(jìn)行大量訓(xùn)練，機(jī)器人也可以變得靈巧。但在現(xiàn)實(shí)世界中訓(xùn)練機(jī)器人像人一樣快速學(xué)會(huì)一項(xiàng)新技能似乎遙不可及。在這里你可以說(shuō)，「哦是的，運(yùn)動(dòng)能力。我們所有的祖先都需要極好的運(yùn)動(dòng)能力，松鼠也是。所以關(guān)于運(yùn)動(dòng)能力，也許我們有一些難以置信的先驗(yàn)知識(shí) (prior)。」

你也可以對(duì)視覺(jué)做同樣的論證。我相信 Yann LeCun 提出過(guò)一個(gè)觀點(diǎn)，孩子練習(xí) 10 小時(shí)就能學(xué)會(huì)開(kāi)車，這是真的。但我們的視覺(jué)太好了。至少對(duì)我來(lái)說(shuō)，我記得自己五歲的時(shí)候。那時(shí)候我對(duì)汽車非常興奮。我敢肯定，作為一個(gè)五歲的孩子，我的汽車識(shí)別能力已經(jīng)足以用來(lái)開(kāi)車了。作為一個(gè)五歲的孩子，你看不到那么多數(shù)據(jù)。你大部分時(shí)間都待在父母家里，所以你的數(shù)據(jù)多樣性非常低。

但你可以說(shuō)這也是進(jìn)化。但在語(yǔ)言、數(shù)學(xué)和編程方面，可能就不是了。

Dwarkesh Patel： 這似乎仍然比模型好。顯然，模型在語(yǔ)言、數(shù)學(xué)和編程方面比普通人強(qiáng)。但它們?cè)趯W(xué)習(xí)能力上比普通人強(qiáng)嗎？

Ilya Sutskever： 哦是的。哦是的，絕對(duì)的。我想說(shuō)的是，語(yǔ)言、數(shù)學(xué)和編程 —— 尤其是數(shù)學(xué)和編程 —— 表明，讓人類擅長(zhǎng)學(xué)習(xí)的東西可能不是一個(gè)復(fù)雜的先驗(yàn)，而是更多的東西，某種根本性的東西。

Dwarkesh Patel： 我不確定我理解了。為什么會(huì)這樣？

Ilya Sutskever： 考慮一項(xiàng)人類表現(xiàn)出某種巨大可靠性的技能。如果這項(xiàng)技能對(duì)我們的祖先在數(shù)百萬(wàn)年、數(shù)億年里非常有用，你可以爭(zhēng)辯說(shuō)，也許人類擅長(zhǎng)它是由于進(jìn)化，因?yàn)槲覀冇幸粋€(gè)先驗(yàn)，一個(gè)進(jìn)化先驗(yàn)，它以某種非常不明顯的方式編碼，不知何故讓我們?nèi)绱松瞄L(zhǎng)它。

但是，如果人們?cè)谝粋€(gè)直到最近才存在的領(lǐng)域表現(xiàn)出巨大的能力、可靠性、魯棒性和學(xué)習(xí)能力，那么這更多地表明人類可能只是擁有更好的機(jī)器學(xué)習(xí)機(jī)制，句號(hào)。

Dwarkesh Patel： 我們應(yīng)該如何思考那是什么？ML 的類比是什么？這有幾個(gè)有趣的地方。它需要更少的樣本。它更是無(wú)監(jiān)督的。一個(gè)孩子學(xué)開(kāi)車…… 孩子不學(xué)開(kāi)車。一個(gè)青少年學(xué)開(kāi)車并沒(méi)有得到某種預(yù)先構(gòu)建的、可驗(yàn)證的獎(jiǎng)勵(lì)。這是來(lái)自于他們與機(jī)器和環(huán)境的互動(dòng)。它需要的樣本少得多。它看起來(lái)更無(wú)監(jiān)督。它看起來(lái)更魯棒？

Ilya Sutskever： 魯棒得多。人類的魯棒性真的令人咋舌。

Dwarkesh Patel： 你有沒(méi)有一種統(tǒng)一的方式來(lái)思考為什么所有這些事情同時(shí)發(fā)生？能夠?qū)崿F(xiàn)類似這種事情的 ML 類比是什么？

Ilya Sutskever： 你一直問(wèn)的一件事是，青少年司機(jī)如何能夠自我糾正并從經(jīng)驗(yàn)中學(xué)習(xí)，而不需要外部老師？答案是他們有自己的價(jià)值函數(shù)。他們有一種一般的感覺(jué)，順便說(shuō)一句，這種感覺(jué)在人身上也非常魯棒。無(wú)論人類的價(jià)值函數(shù)是什么，除了成癮等少數(shù)例外，它實(shí)際上非常非常魯棒。

所以對(duì)于像青少年學(xué)開(kāi)車這樣的事情，他們開(kāi)始開(kāi)車，他們立即對(duì)自己開(kāi)得怎么樣有一種感覺(jué)，開(kāi)得有多爛，有多不自信。然后他們看到，「好吧。」當(dāng)然，任何青少年的學(xué)習(xí)速度都是如此之快。10 小時(shí)后，你就學(xué)會(huì)了。

Dwarkesh Patel： 人類似乎有某種解決方案，但我很好奇他們是如何做到的，為什么這么難？我們需要如何重新概念化我們訓(xùn)練模型的方式，以使類似的事情成為可能？

Ilya Sutskever： 這是一個(gè)很好的問(wèn)題，這也是我有很多觀點(diǎn)的問(wèn)題。但不幸的是，我們生活在一個(gè)并非所有機(jī)器學(xué)習(xí)想法都能自由討論的世界里，這就是其中之一。可能有辦法做到。我認(rèn)為這是可以做到的。人類是那樣的這一事實(shí)，我認(rèn)為這是一個(gè)證明它可以被做到的證據(jù)。

不過(guò)可能還有另一個(gè)阻礙，那就是人類神經(jīng)元進(jìn)行的計(jì)算可能比我們要多。如果這是真的，并且如果這起著重要作用，那么事情可能會(huì)更困難。但無(wú)論如何，我確實(shí)認(rèn)為這指向了某種機(jī)器學(xué)習(xí)原理的存在，我有我的看法。但不幸的是，環(huán)境使得很難詳細(xì)討論。

Dwarkesh Patel： 沒(méi)人聽(tīng)這個(gè)播客的，Ilya。

直通超級(jí)智能

Dwarkesh Patel： 我很好奇。如果你說(shuō)我們回到了研究時(shí)代，你在 2012 年到 2020 年就在那里。如果我們回到研究時(shí)代，現(xiàn)在的氛圍會(huì)是什么樣的？

例如，即使在 AlexNet 之后，用于運(yùn)行實(shí)驗(yàn)的算力量一直在增加，前沿系統(tǒng)的規(guī)模也在不斷增加。你認(rèn)為現(xiàn)在的研究時(shí)代是否仍然需要巨大的算力？你認(rèn)為這是否需要回到檔案館去閱讀舊論文？

你在谷歌、OpenAI 和斯坦福待過(guò)，那時(shí)有更多的研究氛圍。我們應(yīng)該期待社區(qū)里出現(xiàn)什么樣的事情？

Ilya Sutskever： 擴(kuò)展時(shí)代的一個(gè)后果是，擴(kuò)展吸走了房間里所有的空氣。因?yàn)閿U(kuò)展吸走了所有的空氣，每個(gè)人都開(kāi)始做同樣的事情。我們要到了這樣一個(gè)地步，世界上的公司比想法多得多。實(shí)際上關(guān)于這點(diǎn)，硅谷有句俗話說(shuō)，想法是廉價(jià)的，執(zhí)行就是一切。人們常這么說(shuō)，這話也有道理。但我看到有人在 Twitter 上說(shuō)，「如果想法這么廉價(jià)，為什么沒(méi)人有想法呢？」我覺(jué)得這也是真的。

如果你從瓶頸的角度思考研究進(jìn)展，有幾個(gè)瓶頸。一個(gè)是想法，一個(gè)是將其實(shí)現(xiàn)的能力，這可能是算力，也可能是工程。如果你回到 90 年代，比如說(shuō)，有些人有相當(dāng)好的想法，如果他們有更大的計(jì)算機(jī)，也許他們可以證明他們的想法是可行的。但他們做不到，所以他們只能做一個(gè)非常非常小的演示，無(wú)法說(shuō)服任何人。所以瓶頸是算力。

然后在擴(kuò)展時(shí)代，算力增加了很多。當(dāng)然，有一個(gè)問(wèn)題是需要多少算力，但算力很大。算力大到足以證明某個(gè)想法，而不一定需要更多的算力。我給你一個(gè)類比。AlexNet 是在兩個(gè) GPU 上構(gòu)建的。那是用于它的總算力。Transformer 是在 8 到 64 個(gè) GPU 上構(gòu)建的。沒(méi)有哪個(gè) Transformer 論文的實(shí)驗(yàn)使用了超過(guò) 2017 年的 64 個(gè) GPU，這就像是現(xiàn)在的兩個(gè) GPU？ResNet 也是吧？你可以爭(zhēng)辯說(shuō) o1 推理 并不是世界上最耗費(fèi)算力的東西。

所以對(duì)于研究，你肯定需要一定量的算力，但這遠(yuǎn)不是說(shuō)你需要有史以來(lái)絕對(duì)最大量的算力來(lái)進(jìn)行研究。你可能會(huì)爭(zhēng)辯，我也認(rèn)為是真的，如果你想構(gòu)建絕對(duì)最好的系統(tǒng)，那么擁有更多的算力是有幫助的。特別是如果每個(gè)人都在同一個(gè)范式內(nèi)，那么算力就成為巨大的差異化因素之一。

Dwarkesh Patel： 我問(wèn)你關(guān)于歷史的問(wèn)題，是因?yàn)槟惝?dāng)時(shí)真的在場(chǎng)。我不確定到底發(fā)生了什么。聽(tīng)起來(lái)好像用極少量的算力就能發(fā)展這些想法。但 Transformer 并沒(méi)有立即成名。它是在更高算力水平上得到驗(yàn)證后，才成為每個(gè)人都開(kāi)始做并在其基礎(chǔ)上進(jìn)行實(shí)驗(yàn)和構(gòu)建的東西。

Ilya Sutskever： 正確。

Dwarkesh Patel： 如果你在 SSI (Safe Superintelligence Inc.) 有 50 個(gè)不同的想法，如果沒(méi)有其他前沿實(shí)驗(yàn)室擁有的那種算力，你怎么知道哪個(gè)是下一個(gè) Transformer，哪個(gè)是脆弱的？

Ilya Sutskever： 我可以對(duì)此發(fā)表評(píng)論。簡(jiǎn)短的評(píng)論是，你提到了 SSI。特別是對(duì)于我們來(lái)說(shuō)，SSI 用于研究的算力其實(shí)并不小。我想解釋一下為什么。簡(jiǎn)單的數(shù)學(xué)可以解釋為什么我們擁有的算力用于研究比人們想象的要多。我會(huì)解釋。

SSI 籌集了 30 億美元，從絕對(duì)意義上講這是一筆巨款。但你可以說(shuō)，「看看其他公司籌集的資金更多。」但他們很多算力都用于推理 (inference)。這些大數(shù)字，這些大額貸款，是指定用于推理的。這是第一點(diǎn)。第二點(diǎn)，如果你想擁有一個(gè)進(jìn)行推理的產(chǎn)品，你需要擁有龐大的工程師團(tuán)隊(duì)、銷售人員。大量的研究需要致力于生產(chǎn)各種與產(chǎn)品相關(guān)的功能。所以當(dāng)你看看實(shí)際留給研究的資源時(shí)，差異就變得小多了。

另一件事是，如果你在做不同的事情，你真的需要絕對(duì)最大的規(guī)模來(lái)證明它嗎？我一點(diǎn)也不認(rèn)為那是真的。我認(rèn)為在我們的案例中，我們有足夠的算力來(lái)證明，來(lái)說(shuō)服我們自己和其他任何人，我們正在做的事情是正確的。

Dwarkesh Patel： 有公開(kāi)估計(jì)稱，像 OpenAI 這樣的公司僅在實(shí)驗(yàn)上每年就花費(fèi) 50-60 億美元。這還不包括他們?cè)谕评淼确矫娴闹С觥Ｋ钥雌饋?lái)他們每年在運(yùn)行研究實(shí)驗(yàn)上的花費(fèi)比你們的總資金還多。

Ilya Sutskever： 我認(rèn)為這取決于你用它做什么。取決于你用它做什么。在他們的情況下，在其他人的情況下，對(duì)訓(xùn)練算力的需求要大得多。有更多不同的工作流，有不同的模態(tài)，只是有更多的東西。所以它變得碎片化了。

Dwarkesh Patel： SSI 將如何賺錢(qián)？

Ilya Sutskever： 我對(duì)這個(gè)問(wèn)題的回答是這樣的。目前，我們只專注于研究，這個(gè)問(wèn)題的答案自然會(huì)顯現(xiàn)出來(lái)。我認(rèn)為會(huì)有很多可能的答案。

Dwarkesh Patel： SSI 的計(jì)劃仍然是直通超級(jí)智能嗎？

Ilya Sutskever： 也許吧。我認(rèn)為這是有價(jià)值的。我認(rèn)為這很有價(jià)值，因?yàn)椴皇苋粘Ｊ袌?chǎng)競(jìng)爭(zhēng)的影響非常好。但我認(rèn)為有兩個(gè)原因可能會(huì)導(dǎo)致我們要改變計(jì)劃。一個(gè)是務(wù)實(shí)的，如果時(shí)間線變得很長(zhǎng)，這是有可能的。第二，我認(rèn)為最優(yōu)秀、最強(qiáng)大的 AI 能夠面世并影響世界是有巨大價(jià)值的。我認(rèn)為這本身是一件有意義且有價(jià)值的事情。

Dwarkesh Patel： 那么為什么你的默認(rèn)計(jì)劃是直通超級(jí)智能？因?yàn)槁?tīng)起來(lái)像 OpenAI、Anthropic 這種公司，他們明確的想法是：「看，我們有越來(lái)越弱的智能讓公眾習(xí)慣并做好準(zhǔn)備。」為什么直接構(gòu)建超級(jí)智能可能更好？

Ilya Sutskever： 我會(huì)陳述支持和反對(duì)的理由。支持的理由是，人們?cè)谑袌?chǎng)中面臨的挑戰(zhàn)之一是必須參與激烈的競(jìng)爭(zhēng)。這種競(jìng)爭(zhēng)非常困難，因?yàn)樗屇忝媾R你需要做出的艱難權(quán)衡。說(shuō)「我們將把自己與這一切隔絕開(kāi)來(lái)，只專注于研究，只有當(dāng)我們準(zhǔn)備好了才出來(lái)，而不是在此之前」是很好的。但反方觀點(diǎn)也是有效的，這些是對(duì)立的力量。反方觀點(diǎn)是：「嘿，讓世界看到強(qiáng)大的 AI 是有用的。讓世界看到強(qiáng)大的 AI 是有用的，因?yàn)槟鞘悄銈鬟_(dá)它的唯一方式。」

Dwarkesh Patel： 嗯，我想甚至不只是你可以傳達(dá)這個(gè)想法 ——

Ilya Sutskever： 傳達(dá) AI，而不是想法。傳達(dá) AI 本身。

Dwarkesh Patel： 你說(shuō)的「?jìng)鬟_(dá) AI」是什么意思？

Ilya Sutskever： 假設(shè)你寫(xiě)了一篇關(guān)于 AI 的文章，文章說(shuō)：「AI 將會(huì)是這樣，AI 將會(huì)是那樣，它將會(huì)是這個(gè)。」你讀了之后說(shuō)：「好的，這是一篇有趣的文章。」現(xiàn)在假設(shè)你看到一個(gè) AI 做這個(gè)，一個(gè) AI 做那個(gè)。這是無(wú)法比較的。基本上我認(rèn)為 AI 出現(xiàn)在公眾面前有很大的好處，這也是我們不完全「直通」的一個(gè)理由。

Dwarkesh Patel： 我想甚至不僅是那個(gè)，但我確實(shí)認(rèn)為那是其中重要的一部分。另一件大事是，我想不出人類工程和研究中的其他學(xué)科，其最終產(chǎn)物主要是通過(guò)僅僅思考如何使其安全來(lái)變得更安全的，這不同于為什么如今每英里的飛機(jī)失事率比幾十年前低得多。為什么現(xiàn)在在 Linux 中發(fā)現(xiàn) Bug 比幾十年前難得多？我認(rèn)為這主要是因?yàn)檫@些系統(tǒng)被部署到了世界上。你注意到了故障，這些故障被糾正了，系統(tǒng)變得更加健壯。

我不確定為什么 AGI 和超人智能會(huì)有所不同，尤其是考慮到 —— 我希望我們會(huì)談到這個(gè) —— 看起來(lái)超級(jí)智能的危害不僅僅是關(guān)于外面有個(gè)惡意的曲別針制造者 (malevolent paper clipper)。而是一個(gè)非常強(qiáng)大的東西，我們甚至不知道如何概念化人們與它的互動(dòng)，人們會(huì)用它做什么。逐步接觸它似乎是分散其影響并幫助人們做好準(zhǔn)備的更好方式。

SSI 的模型將從部署中學(xué)習(xí)

Ilya Sutskever： 嗯，我認(rèn)為關(guān)于這一點(diǎn)，即使在直通方案中，你仍然會(huì)逐步發(fā)布它，我是這么設(shè)想的。漸進(jìn)主義將是任何計(jì)劃的固有組成部分。問(wèn)題只是你推出的第一個(gè)東西是什么。這是第一點(diǎn)。

第二點(diǎn)，我相信你比其他人更提倡持續(xù)學(xué)習(xí)，實(shí)際上我認(rèn)為這是一件重要且正確的事情。原因如下。我再舉一個(gè)語(yǔ)言如何影響思維的例子。在這種情況下，有兩個(gè)詞塑造了每個(gè)人的思維，我堅(jiān)持這么認(rèn)為。第一個(gè)詞：AGI (通用人工智能)。第二個(gè)詞：預(yù)訓(xùn)練。讓我解釋一下。

AGI 這個(gè)詞，為什么存在？這是一個(gè)非常特定的術(shù)語(yǔ)。為什么它存在？這是有原因的。我認(rèn)為 AGI 這個(gè)詞之所以存在，與其說(shuō)是因?yàn)樗悄撤N智能終極狀態(tài)的重要、本質(zhì)的描述，不如說(shuō)它是對(duì)另一個(gè)存在的術(shù)語(yǔ)的反應(yīng)，那個(gè)術(shù)語(yǔ)就是狹義 AI (narrow AI)。如果你回顧游戲 AI、跳棋 AI、國(guó)際象棋 AI、電腦游戲 AI 的古代歷史，每個(gè)人都會(huì)說(shuō)，看看這個(gè)狹義智能。確實(shí)，國(guó)際象棋 AI 可以擊敗卡斯帕羅夫，但它做不了其他任何事。它是如此狹隘，人工狹義智能。所以作為對(duì)此的回應(yīng)，有些人說(shuō)，這不好。它太狹隘了。我們需要的是通用 AI，一個(gè)可以做所有事情的 AI。這個(gè)術(shù)語(yǔ)因此獲得了很多關(guān)注。

第二件獲得很多關(guān)注的事情是預(yù)訓(xùn)練，特別是預(yù)訓(xùn)練的配方。我認(rèn)為現(xiàn)在人們做 RL 的方式可能正在消除預(yù)訓(xùn)練的概念印記。但預(yù)訓(xùn)練有這個(gè)屬性。你做更多的預(yù)訓(xùn)練，模型在所有方面都會(huì)變得更好，或多或少是一致的。通用 AI。預(yù)訓(xùn)練帶來(lái) AGI。

但在 AGI 和預(yù)訓(xùn)練上發(fā)生的事情是，在某種意義上它們偏離了目標(biāo)。如果你思考「AGI」這個(gè)詞，特別是在預(yù)訓(xùn)練的語(yǔ)境下，你會(huì)意識(shí)到人類并不是一個(gè) AGI。是的，肯定有技能基礎(chǔ)，但人類缺乏大量的知識(shí)。相反，我們依賴于持續(xù)學(xué)習(xí)。

所以當(dāng)你思考，「好吧，假設(shè)我們?nèi)〉昧顺晒Γ覀兩a(chǎn)出了某種安全的超級(jí)智能。」問(wèn)題是，你如何定義它？它在持續(xù)學(xué)習(xí)的曲線上處于什么位置？

我制造了一個(gè)超級(jí)智能的 15 歲少年，非常渴望去闖蕩。他們知道的不多，是個(gè)好學(xué)生，非常渴望。你去當(dāng)程序員，你去當(dāng)醫(yī)生，去學(xué)習(xí)。所以你可以想象部署本身將涉及某種學(xué)習(xí)試錯(cuò)期。這是一個(gè)過(guò)程，而不是你扔出一個(gè)成品。

Dwarkesh Patel： 我明白了。你的意思是，你指出的超級(jí)智能并不是某種已經(jīng)知道如何做經(jīng)濟(jì)中每一項(xiàng)工作的成品思維。因?yàn)椋热缱畛醯?OpenAI 章程或者其他什么對(duì) AGI 的定義是，它可以做每一項(xiàng)工作，人類能做的每一件事。你提議的是一種可以學(xué)習(xí)做每一項(xiàng)工作的思維，這就是超級(jí)智能。

Ilya Sutskever： 是的。

Dwarkesh Patel： 但是一旦你有了這個(gè)學(xué)習(xí)算法，它就會(huì)像人類勞動(dòng)力加入組織一樣被部署到世界上。

Ilya Sutskever： 正是。

Dwarkesh Patel： 似乎這兩種情況之一可能會(huì)發(fā)生，也許這兩種都不會(huì)發(fā)生。一種是，這種超高效的學(xué)習(xí)算法變得超人類，在 ML 研究任務(wù)上變得和你一樣好，甚至可能更好。結(jié)果算法本身變得越來(lái)越超人類。

另一種是，即使那沒(méi)有發(fā)生，如果你有一個(gè)單一的模型 —— 這明確是你的愿景 —— 在經(jīng)濟(jì)中部署做不同工作的模型實(shí)例，學(xué)習(xí)如何做這些工作，在工作中持續(xù)學(xué)習(xí)，掌握任何人都能掌握的所有技能，但同時(shí)掌握所有技能，然后合并它們的學(xué)習(xí)成果，你基本上就有了一個(gè)在功能上變得超級(jí)智能的模型，甚至不需要軟件上的任何遞歸自我改進(jìn)。因?yàn)槟悻F(xiàn)在有一個(gè)模型可以做經(jīng)濟(jì)中的每一項(xiàng)工作，而人類無(wú)法以同樣的方式合并我們的思維。所以你預(yù)期通過(guò)廣泛部署會(huì)發(fā)生某種智能爆炸嗎？

Ilya Sutskever： 我認(rèn)為很有可能會(huì)有快速的經(jīng)濟(jì)增長(zhǎng)。我認(rèn)為隨著廣泛部署，你可以提出兩個(gè)相互沖突的論點(diǎn)。一個(gè)是，一旦你真的到了擁有一個(gè)可以快速學(xué)習(xí)做事的 AI 并且你有很多這樣的 AI 的地步，那么除非有某種法規(guī)阻止它（順便說(shuō)一句，可能會(huì)有），否則將會(huì)有強(qiáng)大的力量將其部署到經(jīng)濟(jì)中。

但是，通過(guò)廣泛部署在一段時(shí)間內(nèi)實(shí)現(xiàn)非常快速的經(jīng)濟(jì)增長(zhǎng)的想法，我認(rèn)為是非常可能的。問(wèn)題是它會(huì)有多快。我認(rèn)為這很難知道，因?yàn)橐环矫婺阌羞@個(gè)非常高效的工人。另一方面，世界真的很大，有很多東西，那些東西以不同的速度移動(dòng)。但另一方面，現(xiàn)在 AI 可以…… 所以我認(rèn)為非常快速的經(jīng)濟(jì)增長(zhǎng)是可能的。我們會(huì)看到各種各樣的事情，比如不同的國(guó)家有不同的規(guī)則，那些規(guī)則更友好的國(guó)家，經(jīng)濟(jì)增長(zhǎng)會(huì)更快。很難預(yù)測(cè)。

對(duì)齊

Dwarkesh Patel： 在我看來(lái)，這是一個(gè)非常危險(xiǎn)的處境。在極限情況下，我們知道這應(yīng)該是可能的。如果你有某種東西在學(xué)習(xí)上和人類一樣好，但它可以合并它的大腦 —— 合并不同的實(shí)例，這在物理上似乎是可能的。人類是可能的，數(shù)字計(jì)算機(jī)是可能的。你只需要將兩者結(jié)合起來(lái)就能產(chǎn)生這個(gè)東西。

這東西似乎也極其強(qiáng)大。經(jīng)濟(jì)增長(zhǎng)是一種說(shuō)法。戴森球 (Dyson sphere) 是大量的經(jīng)濟(jì)增長(zhǎng)。但另一種說(shuō)法是，你將在可能非常短的時(shí)間內(nèi)擁有…… 你在 SSI 雇人，六個(gè)月后，他們的凈產(chǎn)出可能就是正的了。人類學(xué)得真的很快，而這東西變聰明的速度非常快。你如何思考讓這一切順利進(jìn)行？為什么 SSI 定位能做好這件事？SSI 在這方面的計(jì)劃是什么，這基本上就是我想問(wèn)的。

Ilya Sutskever： 我的想法發(fā)生變化的一個(gè)方面是，我現(xiàn)在更加重視 AI 的增量部署和提前部署。關(guān)于 AI 的一件非常困難的事情是，我們談?wù)摰氖巧胁淮嬖诘南到y(tǒng)，很難想象它們。

我認(rèn)為正在發(fā)生的一件事是，實(shí)際上很難感受到 AGI。很難感受到 AGI。我們可以談?wù)撍胂笠幌拢?dāng)你年老體衰時(shí)，談?wù)撃昀鲜鞘裁锤杏X(jué)。你可以談?wù)摚憧梢栽囍胂螅@很難，你回到現(xiàn)實(shí)，那并不是事實(shí)。我認(rèn)為很多關(guān)于 AGI 及其未來(lái)力量的問(wèn)題源于很難想象。未來(lái)的 AI 將會(huì)不同。它將會(huì)很強(qiáng)大。確實(shí)，AI 和 AGI 的整個(gè)問(wèn)題是什么？整個(gè)問(wèn)題就是力量。整個(gè)問(wèn)題就是力量。

當(dāng)力量真的很大時(shí)，會(huì)發(fā)生什么？我在過(guò)去一年中改變主意的一個(gè)方面 —— 這種改變可能會(huì)反向傳播到我們公司的計(jì)劃中 —— 是如果很難想象，你該怎么辦？你必須展示這個(gè)東西。你必須展示這個(gè)東西。我堅(jiān)持認(rèn)為，大多數(shù)從事 AI 工作的人也無(wú)法想象它，因?yàn)樗c人們?nèi)粘？吹降臇|西太不同了。

我確實(shí)堅(jiān)持，這是我預(yù)測(cè)會(huì)發(fā)生的事情。這是一個(gè)預(yù)測(cè)。我堅(jiān)持認(rèn)為，隨著 AI 變得更強(qiáng)大，人們會(huì)改變他們的行為。我們將看到各種前所未有的事情，這些事情現(xiàn)在還沒(méi)有發(fā)生。我舉幾個(gè)例子。我認(rèn)為無(wú)論好壞，前沿公司將在發(fā)生的事情中扮演非常重要的角色，政府也是如此。我認(rèn)為你會(huì)看到的那種事情，你已經(jīng)看到了開(kāi)端，就是激烈的競(jìng)爭(zhēng)對(duì)手開(kāi)始在 AI 安全方面進(jìn)行合作。你可能已經(jīng)看到 OpenAI 和 Anthropic 邁出了第一小步，但這以前是不存在的。這是我在大約三年前的一次演講中預(yù)測(cè)的事情，這樣的事情將會(huì)發(fā)生。我也堅(jiān)持認(rèn)為，隨著 AI 繼續(xù)變得更強(qiáng)大，更明顯地強(qiáng)大，政府和公眾也會(huì)渴望做點(diǎn)什么。我認(rèn)為展示 AI 是一個(gè)非常重要的力量。

這是第一點(diǎn)。第二點(diǎn)，好吧，所以 AI 正在被構(gòu)建。需要做什么？我堅(jiān)持會(huì)發(fā)生的一件事是，現(xiàn)在從事 AI 工作的人，我堅(jiān)持認(rèn)為 AI 不讓人覺(jué)得強(qiáng)大是因?yàn)樗腻e(cuò)誤。我確實(shí)認(rèn)為在某個(gè)時(shí)候 AI 會(huì)開(kāi)始讓人覺(jué)得強(qiáng)大。我認(rèn)為當(dāng)那一刻發(fā)生時(shí)，我們會(huì)看到所有 AI 公司在安全方法上的巨大變化。他們會(huì)變得更加偏執(zhí)。我說(shuō)這是一個(gè)預(yù)測(cè)，我們會(huì)看到它發(fā)生。我們要看看我是否正確。但我認(rèn)為這是將會(huì)發(fā)生的事情，因?yàn)樗麄儠?huì)看到 AI 變得更強(qiáng)大。我現(xiàn)在堅(jiān)持認(rèn)為，目前發(fā)生的一切都是因?yàn)槿藗兛粗裉斓?AI，很難想象未來(lái)的 AI。

還有第三件事需要發(fā)生。我是在更廣泛的層面上談?wù)撍粌H僅是從 SSI 的角度，因?yàn)槟銌?wèn)到了我們公司。問(wèn)題是，公司應(yīng)該渴望建立什么？他們應(yīng)該渴望建立什么？有一個(gè)每個(gè)人都被鎖定的想法，那就是自我改進(jìn)的 AI。為什么會(huì)發(fā)生這種情況？因?yàn)橄敕ū裙旧佟５覉?jiān)持認(rèn)為有更好的東西可以建立，我認(rèn)為每個(gè)人都會(huì)想要那個(gè)。

那就是穩(wěn)健地對(duì)齊以關(guān)愛(ài)感知生命 (sentient life) 的 AI。我認(rèn)為特別是有理由認(rèn)為，建立一個(gè)關(guān)愛(ài)感知生命的 AI 比建立一個(gè)只關(guān)愛(ài)人類生命的 AI 更容易，因?yàn)?AI 本身也是有感知的。如果你思考像鏡像神經(jīng)元 (mirror neurons) 和人類對(duì)動(dòng)物的同理心 這樣的事情，你可能會(huì)說(shuō)這不夠大，但它存在。我認(rèn)為這是一種涌現(xiàn)屬性，源于我們用模擬自己的同一套回路來(lái)模擬他人，因?yàn)檫@是最高效的做法。

Dwarkesh Patel： 所以即使你讓 AI 關(guān)愛(ài)感知生命 —— 如果你解決了對(duì)齊 (alignment)，我不清楚這是否是你應(yīng)該嘗試做的 —— 仍然會(huì)是這樣，大多數(shù)感知生命將是 AI。最終會(huì)有數(shù)萬(wàn)億、千萬(wàn)億的 AI。人類將只是感知生命的一小部分。所以如果不清楚目標(biāo)是否是對(duì)這個(gè)未來(lái)文明的某種人類控制，我不清楚這是否是最好的標(biāo)準(zhǔn)。

Ilya Sutskever： 這是真的。這可能不是最好的標(biāo)準(zhǔn)。我會(huì)說(shuō)兩件事。第一，關(guān)愛(ài)感知生命，我認(rèn)為這有其優(yōu)點(diǎn)。應(yīng)該加以考慮。如果有某種短名單，列出公司在這種情況下可以使用的想法，那會(huì)有所幫助。這是第二點(diǎn)。

第三，我認(rèn)為如果最強(qiáng)大的超級(jí)智能的力量在某種程度上受到限制，那將會(huì)有實(shí)質(zhì)性的幫助，因?yàn)檫@將解決很多這些擔(dān)憂。關(guān)于如何做到這一點(diǎn)，我不確定，但我認(rèn)為當(dāng)你談?wù)摲浅７浅?qiáng)大的系統(tǒng)時(shí)，那將會(huì)有實(shí)質(zhì)性的幫助。

Dwarkesh Patel： 在我們繼續(xù)討論對(duì)齊之前，我想深入探討一下。頂層還有多少空間？你如何看待超級(jí)智能？你是否認(rèn)為，使用這個(gè)學(xué)習(xí)效率的想法，也許它只是在學(xué)習(xí)新技能或新知識(shí)方面極快？它是否只是擁有更大的策略池？中心是否有一個(gè)單一的、有凝聚力的「它」更強(qiáng)大或更大？如果是這樣，你是否想象這將與其余人類文明相比像神一樣，或者它只是感覺(jué)像另一個(gè)智能體，或者另一組智能體？

Ilya Sutskever： 在這個(gè)領(lǐng)域，不同的人有不同的直覺(jué)。我認(rèn)為它肯定會(huì)非常強(qiáng)大。我認(rèn)為最有可能發(fā)生的是，大約在同一時(shí)間會(huì)有多個(gè)這樣的 AI 被創(chuàng)造出來(lái)。我認(rèn)為如果集群足夠大 —— 比如如果集群實(shí)際上是大陸規(guī)模的 —— 那個(gè)東西確實(shí)可能非常強(qiáng)大。如果你真的擁有一個(gè)大陸規(guī)模的集群，那些 AI 可能會(huì)非常強(qiáng)大。我能告訴你的是，如果你談?wù)摰氖菢O其強(qiáng)大的 AI，真正極其強(qiáng)大的，如果它們能受到某種方式的限制，或者有某種協(xié)議之類的東西，那就太好了。

對(duì)超級(jí)智能的擔(dān)憂是什么？解釋這種擔(dān)憂的一種方式是什么？如果你想象一個(gè)足夠強(qiáng)大的系統(tǒng)，真的足夠強(qiáng)大 —— 你可以說(shuō)你需要做一些明智的事情，比如非常一心一意地關(guān)愛(ài)感知生命 —— 我們可能不喜歡其結(jié)果。這真的就是它的本質(zhì)。

順便說(shuō)一句，也許答案是你不要建立一個(gè)通常意義上的 RL 智能體。我要指出幾件事。我認(rèn)為人類是半 RL 智能體。我們要追求獎(jiǎng)勵(lì)，然后情緒或其他什么東西讓我們對(duì)獎(jiǎng)勵(lì)感到厭倦，我們追求不同的獎(jiǎng)勵(lì)。市場(chǎng)是一種非常短視的智能體。進(jìn)化也是一樣的。進(jìn)化在某些方面非常聰明，但在其他方面非常愚蠢。政府被設(shè)計(jì)成三個(gè)部分之間永無(wú)休止的斗爭(zhēng)，這產(chǎn)生了影響。所以我認(rèn)為像這樣的事情。

另一件讓這個(gè)討論變得困難的事情是，我們談?wù)摰氖遣淮嬖诘南到y(tǒng)，我們不知道如何構(gòu)建。這是另一件事，這實(shí)際上是我的信念。我認(rèn)為人們現(xiàn)在正在做的事情會(huì)走一段距離，然后逐漸平息。它會(huì)繼續(xù)改進(jìn)，但它也不會(huì)是「那個(gè)東西」。「那個(gè)東西」我們還不知道怎么造，很大程度上取決于理解可靠的泛化。

我還要說(shuō)一件事。你可以說(shuō)導(dǎo)致對(duì)齊困難的原因之一是，你學(xué)習(xí)人類價(jià)值觀的能力是脆弱的。然后你優(yōu)化它們的能力是脆弱的。你實(shí)際上學(xué)會(huì)了去優(yōu)化它們。難道你不能說(shuō)，「這些不都是不可靠泛化的例子嗎？」為什么人類似乎泛化得這么好？如果泛化好得多呢？這種情況下會(huì)發(fā)生什么？會(huì)有什么影響？但這些問(wèn)題目前仍然無(wú)法回答。

Dwarkesh Patel： 人們?nèi)绾嗡伎?AI 順利發(fā)展是什么樣子的？你已經(jīng)勾勒出了 AI 可能如何進(jìn)化。我們將擁有這些某種持續(xù)學(xué)習(xí)的智能體。AI 將非常強(qiáng)大。也許會(huì)有許多不同的 AI。你如何看待許多大陸規(guī)模的計(jì)算智能四處游走？那有多危險(xiǎn)？我們?nèi)绾巫屗兊貌荒敲次ｋU(xiǎn)？我們?nèi)绾我砸环N保護(hù)平衡的方式做到這一點(diǎn)，而在這種平衡中可能會(huì)有未對(duì)齊的 AI 和壞人？

Ilya Sutskever： 這是我喜歡「關(guān)愛(ài)感知生命的 AI」的一個(gè)原因。我們可以爭(zhēng)論它是好是壞。但如果前 N 個(gè)這樣的強(qiáng)大系統(tǒng)確實(shí)關(guān)愛(ài)、熱愛(ài)人類或什么的，關(guān)愛(ài)感知生命，顯然這也是需要實(shí)現(xiàn)的。這是需要實(shí)現(xiàn)的。所以如果這由前 N 個(gè)這樣的系統(tǒng)實(shí)現(xiàn)，那么我可以看到它進(jìn)展順利，至少在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)。

然后是長(zhǎng)期會(huì)發(fā)生什么的問(wèn)題。你如何實(shí)現(xiàn)長(zhǎng)期均衡？我認(rèn)為那里也有一個(gè)答案。我不喜歡這個(gè)答案，但需要加以考慮。

從長(zhǎng)遠(yuǎn)來(lái)看，你可能會(huì)說(shuō)：「好吧，如果你有一個(gè)強(qiáng)大的 AI 存在的世界，在短期內(nèi)，你可以說(shuō)你有普遍的高收入。你有普遍的高收入，我們都過(guò)得很好。」但佛教徒怎么說(shuō)？「無(wú)常是唯一的常態(tài)。」事情在變化。有某種政府、政治結(jié)構(gòu)的東西，它在變化，因?yàn)檫@些東西有保質(zhì)期。一些新的政府事物出現(xiàn)并運(yùn)作，然后過(guò)了一段時(shí)間它停止運(yùn)作。這是我們一直看到發(fā)生的事情。

所以我認(rèn)為對(duì)于長(zhǎng)期均衡，一種方法是你可以說(shuō)也許每個(gè)人都會(huì)有一個(gè)聽(tīng)命于他們的 AI，這很好。如果這能無(wú)限期維持下去，那是真的。但缺點(diǎn)是 AI 去為那個(gè)人賺錢(qián)，在政治領(lǐng)域倡導(dǎo)他們的需求，也許然后寫(xiě)一份小報(bào)告說(shuō)：「好吧，這是我所做的，這是情況，」那個(gè)人說(shuō)：「太棒了，繼續(xù)保持。」但那個(gè)人不再是參與者了。那么你可以說(shuō)那是一個(gè)危險(xiǎn)的境地。

我要先說(shuō)我不喜歡這個(gè)解決方案，但它是一個(gè)解決方案。解決方案是如果人們通過(guò)某種 Neuralink++ 變成半 AI。因?yàn)榻Y(jié)果將會(huì)是現(xiàn)在 AI 理解了一些東西，我們也理解了它，因?yàn)楝F(xiàn)在理解是全盤(pán)傳遞的。所以現(xiàn)在如果 AI 處于某種情況，你自己也完全參與了那種情況。我認(rèn)為這是均衡的答案。

Dwarkesh Patel： 我想知道，數(shù)百萬(wàn)年 —— 或者在許多情況下，數(shù)十億年 —— 前在一個(gè)完全不同的環(huán)境中發(fā)展起來(lái)的情緒仍然如此強(qiáng)烈地指導(dǎo)著我們的行動(dòng)，這是否是對(duì)齊成功的一個(gè)例子。

為了說(shuō)明我的意思 —— 我不知道稱之為價(jià)值函數(shù)還是獎(jiǎng)勵(lì)函數(shù)更準(zhǔn)確 —— 但腦干 (brainstem) 有一個(gè)指令，說(shuō)：「與更成功的人交配。」皮層 (cortex) 是理解現(xiàn)代背景下成功意味著什么的部分。但腦干能夠?qū)R皮層并說(shuō)：「無(wú)論你認(rèn)為成功是什么 —— 我不夠聰明去理解那是什么 —— 你仍然要追求這個(gè)指令。」

Ilya Sutskever： 我認(rèn)為還有一個(gè)更普遍的觀點(diǎn)。我認(rèn)為進(jìn)化如何編碼高層欲望實(shí)際上真的很神秘。很容易理解進(jìn)化如何賦予我們對(duì)聞起來(lái)好的食物的欲望，因?yàn)闅馕妒且环N化學(xué)物質(zhì)，所以只需追求那種化學(xué)物質(zhì)。很容易想象進(jìn)化做那件事。

但進(jìn)化也賦予了我們所有這些社會(huì)欲望。我們真的在乎被社會(huì)積極看待。我們?cè)诤鯎碛辛己玫牡匚弧Ｎ覀儞碛械乃羞@些社會(huì)直覺(jué)，我強(qiáng)烈感覺(jué)它們是內(nèi)置的。我不知道進(jìn)化是怎么做到的，因?yàn)樗且粋€(gè)在大腦中表現(xiàn)的高層概念。

比如說(shuō)你在乎某種社會(huì)事物，它不像氣味那樣是低層信號(hào)。它不是某種有傳感器的東西。大腦需要做大量的處理來(lái)拼湊大量的信息位以理解社會(huì)上正在發(fā)生什么。不知何故進(jìn)化說(shuō)：「那就是你應(yīng)該關(guān)心的。」它是怎么做到的？

它做得也很快。我們關(guān)心的所有這些復(fù)雜的社會(huì)事物，我認(rèn)為它們進(jìn)化得相當(dāng)晚近。進(jìn)化很容易就硬編碼了這種高層欲望。我不知道有什么好的假設(shè)能解釋它是如何完成的。我有一些反復(fù)思考的想法，但沒(méi)有一個(gè)是令人滿意的。

Dwarkesh Patel： 特別令人印象深刻的是，它是你在有生之年學(xué)到的欲望，這說(shuō)得通，因?yàn)槟愕拇竽X是智能的。你能夠?qū)W習(xí)智能欲望是說(shuō)得通的。也許這不是你的觀點(diǎn)，但理解它的一種方式是，欲望內(nèi)置在基因組中，而基因組并不智能。但你不知何故能夠描述這個(gè)特征。甚至不清楚你是如何定義那個(gè)特征的，你卻可以把它構(gòu)建到基因里。

Ilya Sutskever： 基本上是這樣，或者也許我會(huì)換種說(shuō)法。如果你思考基因組可用的工具，它說(shuō)：「好吧，這是一個(gè)構(gòu)建大腦的配方。」你可以說(shuō)：「這是一個(gè)將多巴胺神經(jīng)元連接到氣味傳感器的配方。」如果氣味是某種好聞的氣味，你想吃那個(gè)。

我可以想象基因組做那件事。我聲稱更難想象的是。更難想象的是基因組說(shuō)你應(yīng)該關(guān)心某個(gè)復(fù)雜的計(jì)算，而這個(gè)計(jì)算是你整個(gè)大腦、大腦的一大塊在做的。這就是我所聲稱的一切。我可以告訴你一個(gè)關(guān)于它是如何做到的推測(cè)，我會(huì)解釋為什么這個(gè)推測(cè)可能是錯(cuò)誤的。

大腦有腦區(qū)。我們有我們的皮層。它有所有那些腦區(qū)。皮層是均勻的，但皮層中的腦區(qū)和神經(jīng)元大多與它們的鄰居交談。這就解釋了為什么會(huì)有腦區(qū)。因?yàn)槿绻阆胱瞿撤N語(yǔ)音處理，所有做語(yǔ)音的神經(jīng)元都需要彼此交談。因?yàn)樯窠?jīng)元只能與它們附近的鄰居交談，在大多數(shù)情況下，它必須是一個(gè)區(qū)域。

所有區(qū)域在人與人之間大多位于同一個(gè)地方。所以也許進(jìn)化硬編碼了大腦上的一個(gè)字面位置。所以它說(shuō)：「哦，當(dāng)大腦的 GPS 坐標(biāo)某某某，當(dāng)那里放電時(shí)，那就是你應(yīng)該關(guān)心的。」也許那是進(jìn)化所做的，因?yàn)槟菚?huì)在進(jìn)化的工具箱之內(nèi)。

Dwarkesh Patel： 是的，盡管有一些例子，例如天生失明的人，他們皮層的那塊區(qū)域被另一種感官征用了。我不知道，但我會(huì)很驚訝如果需要視覺(jué)信號(hào)的欲望或獎(jiǎng)勵(lì)函數(shù)對(duì)于那些皮層不同區(qū)域被征用的人不再起作用。

例如，如果你不再有視覺(jué)，你是否還能感覺(jué)到希望周圍人喜歡我之類的感覺(jué)，這通常也有視覺(jué)線索。

Ilya Sutskever： 我完全同意這一點(diǎn)。我認(rèn)為對(duì)這個(gè)理論還有一個(gè)更強(qiáng)的反駁。有些人在童年時(shí)期切除了一半大腦，他們?nèi)匀粨碛兴械哪X區(qū)。但不知何故它們都移動(dòng)到了一個(gè)半球，這表明腦區(qū)的位置不是固定的，所以那個(gè)理論是不正確的。

如果是真的那就太酷了，但事實(shí)并非如此。所以我認(rèn)為這是一個(gè)謎。但這是一個(gè)有趣的謎。事實(shí)是，不知何故進(jìn)化能夠賦予我們非常非常可靠地關(guān)心社會(huì)東西的能力。即使是有各種奇怪的心理狀況、缺陷和情緒問(wèn)題的人，往往也關(guān)心這個(gè)。

「我們是一家純正的『研究時(shí)代』公司」

Dwarkesh Patel： SSI 計(jì)劃做什么不同的事情？據(jù)推測(cè)，當(dāng)這個(gè)時(shí)刻到來(lái)時(shí)，你的計(jì)劃是成為前沿公司之一。據(jù)推測(cè)，你創(chuàng)辦 SSI 是因?yàn)槟阆耄骸肝矣X(jué)得我有辦法安全地做這件事，而其他公司沒(méi)有。」這種區(qū)別是什么？

Ilya Sutskever： 我會(huì)這樣描述它：我認(rèn)為有些想法是有希望的，我想調(diào)查它們，看看它們是否確實(shí)有希望。真的就這么簡(jiǎn)單。這是一個(gè)嘗試。如果這些想法被證明是正確的 —— 我們討論過(guò)的關(guān)于理解泛化的這些想法 —— 那么我認(rèn)為我們將擁有有價(jià)值的東西。

它們會(huì)被證明是正確的嗎？我們?cè)谧鲅芯俊Ｎ覀兪且患壹冋摹秆芯繒r(shí)代」公司。我們正在取得進(jìn)展。我們?cè)谶^(guò)去的一年里實(shí)際上取得了相當(dāng)好的進(jìn)展，但我們需要繼續(xù)取得更多進(jìn)展，更多研究。我是這么看的。我看作是一種嘗試成為一個(gè)聲音和參與者的努力。

Dwarkesh Patel： 你的聯(lián)合創(chuàng)始人兼前 CEO 最近離開(kāi)去了 Meta，人們問(wèn)：「好吧，如果有大量的突破正在發(fā)生，那似乎是一件不太可能發(fā)生的事情。」我想知道你怎么回應(yīng)。

Ilya Sutskever： 對(duì)此，我只想提醒幾個(gè)可能已被遺忘的事實(shí)。我認(rèn)為這些提供背景的事實(shí)解釋了情況。背景是我們?cè)谝?320 億美元的估值融資，然后 Meta 進(jìn)來(lái)提議收購(gòu)我們，我拒絕了。但我的前聯(lián)合創(chuàng)始人在某種意義上說(shuō)是同意了。結(jié)果，他也能夠享受到大量的近期流動(dòng)性，他是唯一從 SSI 加入 Meta 的人。

Dwarkesh Patel： 聽(tīng)起來(lái) SSI 的計(jì)劃是，當(dāng)你到達(dá)人類歷史上這個(gè)擁有超人智能的非常重要時(shí)期時(shí)，成為一家處于前沿的公司。你對(duì)如何讓超人智能順利發(fā)展有這些想法。但其他公司也會(huì)嘗試他們自己的想法。SSI 在讓超級(jí)智能順利發(fā)展的方法上有什么與眾不同之處？

Ilya Sutskever： 區(qū)別 SSI 的主要是其技術(shù)方法。我們有不同的技術(shù)方法，我認(rèn)為這很有價(jià)值，我們正在追求它。

我堅(jiān)持認(rèn)為最終會(huì)有策略的趨同。我認(rèn)為會(huì)有策略的趨同，在某種程度上，隨著 AI 變得更強(qiáng)大，對(duì)每個(gè)人來(lái)說(shuō)應(yīng)該采取什么策略會(huì)變得或多或少清晰。這應(yīng)該是類似這樣的：你需要找到某種方式彼此交談，你希望你的第一個(gè)真正的超級(jí)智能 AI 是對(duì)齊的，并在某種程度上關(guān)愛(ài)感知生命，關(guān)愛(ài)人類，民主的，其中之一，或者某種組合。

我認(rèn)為這是每個(gè)人都應(yīng)該爭(zhēng)取的條件。這就是 SSI 正在爭(zhēng)取的。我認(rèn)為這一次，如果還沒(méi)發(fā)生的話，所有其他公司都會(huì)意識(shí)到他們正在朝著同一個(gè)目標(biāo)努力。我們會(huì)看到的。我認(rèn)為隨著 AI 變得更強(qiáng)大，世界將真正改變。我認(rèn)為事情會(huì)真的很不同，人們的行為也會(huì)真的很不同。

Dwarkesh Patel： 說(shuō)到預(yù)測(cè)，你對(duì)你描述的這個(gè)系統(tǒng)有什么預(yù)測(cè)？這個(gè)系統(tǒng)可以像人類一樣學(xué)習(xí)，隨后作為結(jié)果變得超人類？

Ilya Sutskever： 我想大概 5 到 20 年。

Dwarkesh Patel： 5 到 20 年？

Ilya Sutskever： 嗯。

Dwarkesh Patel： 我只想展開(kāi)你眼中的未來(lái)是如何到來(lái)的。就像是，我們還有幾年時(shí)間，其他公司繼續(xù)目前的方法并停滯不前。「停滯不前」在這里意味著他們的收入不超過(guò)幾千億美元？你如何看待停滯不前意味著什么？

Ilya Sutskever： 我認(rèn)為停滯不前看起來(lái)會(huì)像…… 所有不同的公司看起來(lái)都會(huì)非常相似。可能是這樣的。我不確定，因?yàn)槲艺J(rèn)為即使停滯不前，我認(rèn)為這些公司也能賺取驚人的收入。也許不是利潤(rùn)，因?yàn)樗麄冃枰ぷ饕允棺约罕舜藚^(qū)分開(kāi)來(lái)，但收入肯定有。

Dwarkesh Patel： 但在你的模型中暗示，當(dāng)正確的解決方案確實(shí)出現(xiàn)時(shí)，所有公司之間會(huì)有趨同。我很好奇你為什么認(rèn)為會(huì)是這樣。

Ilya Sutskever： 我更多是在談?wù)搶?duì)齊策略的趨同。我認(rèn)為技術(shù)方法的最終趨同可能也會(huì)發(fā)生，但我指的是對(duì)齊策略的趨同。到底應(yīng)該做什么？

Dwarkesh Patel： 我只想更好地理解你如何看待未來(lái)的展開(kāi)。目前，我們有這些不同的公司，你預(yù)期他們的方法會(huì)繼續(xù)產(chǎn)生收入，但達(dá)不到這種類人學(xué)習(xí)者。所以現(xiàn)在我們有這些不同的公司分支。有你們，有 Thinking Machines，還有一堆其他實(shí)驗(yàn)室。也許其中一個(gè)找出了正確的方法。但隨后他們產(chǎn)品的發(fā)布讓其他人清楚了如何做這件事。

Ilya Sutskever： 我認(rèn)為并不清楚如何做，但會(huì)清楚有些不同的東西是可能的，這就是信息。人們隨后會(huì)試圖弄清楚那是如何工作的。不過(guò)我確實(shí)認(rèn)為，這里沒(méi)有提到、沒(méi)有討論的一件事是，隨著 AI 能力的每一次增加，我認(rèn)為會(huì)有某種變化 —— 但我不知道具體是哪些 —— 在事情的做法上。我認(rèn)為這將會(huì)很重要，但我無(wú)法拼寫(xiě)出那到底是什么。

Dwarkesh Patel： 默認(rèn)情況下，你會(huì)預(yù)期擁有那個(gè)模型的公司會(huì)獲得所有這些收益，因?yàn)樗麄儞碛械哪Ｐ驼谑澜缟戏e累技能和知識(shí)。有什么理由認(rèn)為這帶來(lái)的好處會(huì)被廣泛分配，而不僅僅是最終落入無(wú)論哪家最先讓這個(gè)持續(xù)學(xué)習(xí)循環(huán)運(yùn)轉(zhuǎn)起來(lái)的模型公司手中？

Ilya Sutskever： 我認(rèn)為這是將會(huì)發(fā)生的事情。第一，讓我們看看過(guò)去的 AI 是如何發(fā)展的。一家公司取得了一個(gè)進(jìn)展，另一家公司爭(zhēng)先恐后，在一段時(shí)間后生產(chǎn)出了一些類似的東西，他們開(kāi)始在市場(chǎng)上競(jìng)爭(zhēng)并將價(jià)格壓低。所以我認(rèn)為從市場(chǎng)的角度來(lái)看，類似的事情也會(huì)發(fā)生在那里。

順便說(shuō)一句，我們談?wù)摰氖敲篮玫氖澜纭Ｊ裁词敲篮玫氖澜纾烤褪俏覀儞碛羞@些強(qiáng)大的類人學(xué)習(xí)者，它們也…… 順便說(shuō)一句，也許還有另一件事我們還沒(méi)討論過(guò)，關(guān)于超級(jí)智能 AI 的規(guī)格，我認(rèn)為值得考慮。那就是你讓它變窄，它可以同時(shí)有用且窄。你可以有很多狹義的超級(jí)智能 AI。

但假設(shè)你有很多這樣的 AI，有一家公司從中賺取了大量利潤(rùn)。然后你有另一家公司進(jìn)來(lái)開(kāi)始競(jìng)爭(zhēng)。競(jìng)爭(zhēng)運(yùn)作的方式是通過(guò)專業(yè)化。競(jìng)爭(zhēng)喜歡專業(yè)化。你在市場(chǎng)上看到這一點(diǎn)，在進(jìn)化中也看到這一點(diǎn)。你會(huì)有很多不同的生態(tài)位，你會(huì)有很多不同的公司占據(jù)不同的生態(tài)位。在這個(gè)世界上，我們可能會(huì)說(shuō)一家 AI 公司在某個(gè)非常復(fù)雜的經(jīng)濟(jì)活動(dòng)領(lǐng)域真的要好得多，而另一家公司在另一個(gè)領(lǐng)域更好。第三家公司在訴訟方面非常擅長(zhǎng)。

Dwarkesh Patel： 這難道不與類人學(xué)習(xí)所暗示的相矛盾嗎？它是它可以學(xué)習(xí)……

Ilya Sutskever： 它是可以，但你有積累的學(xué)習(xí)。你有巨大的投資。你花了很多算力才在這件事上變得真的、真的很好，真的非凡。別人花了很多算力和很多經(jīng)驗(yàn)才在其他事情上變得真的很好。你應(yīng)用了大量的人類學(xué)習(xí)才到達(dá)那里，但現(xiàn)在你處于這個(gè)高點(diǎn)，別人會(huì)說(shuō)：「看，我不想從頭開(kāi)始學(xué)你已經(jīng)學(xué)過(guò)的東西。」

Dwarkesh Patel： 我想這需要許多不同的公司同時(shí)開(kāi)始擁有類人持續(xù)學(xué)習(xí)智能體，這樣他們就可以在不同的分支開(kāi)始他們不同的樹(shù)搜索。但是如果一家公司先得到那個(gè)智能體，或者先得到那個(gè)學(xué)習(xí)者，那似乎就像…… 好吧，如果你只考慮經(jīng)濟(jì)中的每一項(xiàng)工作，讓一個(gè)實(shí)例學(xué)習(xí)每一項(xiàng)工作對(duì)于一家公司來(lái)說(shuō)似乎是可行的。

Ilya Sutskever： 這是一個(gè)有效的論點(diǎn)。我的強(qiáng)烈直覺(jué)是，事情不會(huì)那樣發(fā)展。論點(diǎn)說(shuō)它會(huì)那樣發(fā)展，但我的強(qiáng)烈直覺(jué)是它不會(huì)那樣發(fā)展。在理論上，理論和實(shí)踐沒(méi)有區(qū)別。在實(shí)踐中，是有區(qū)別的。我認(rèn)為這將是其中之一。

Dwarkesh Patel： 很多人的遞歸自我改進(jìn)模型字面上明確指出，我們將在服務(wù)器里擁有以百萬(wàn)計(jì)的 Ilya，提出不同的想法，這將導(dǎo)致超級(jí)智能非常快地涌現(xiàn)。

你對(duì)自己正在做的事情的可并行性有什么直覺(jué)嗎？復(fù)制 Ilya 的收益是什么？

Ilya Sutskever： 我不知道。我認(rèn)為肯定會(huì)有收益遞減，因?yàn)槟阈枰氖撬季S不同的人，而不是相同的人。如果有我的字面副本，我不確定你會(huì)獲得多少增量?jī)r(jià)值。思維不同的人，那才是你想要的。

自我對(duì)弈與多智能體

Dwarkesh Patel： 為什么如果你看不同的模型，即使是由完全不同的公司發(fā)布的，在可能不重疊的數(shù)據(jù)集上訓(xùn)練的，LLM 彼此之間實(shí)際上相似得瘋狂？

Ilya Sutskever： 也許數(shù)據(jù)集并沒(méi)有看起來(lái)那么不重疊。

Dwarkesh Patel： 但即使個(gè)人人類可能不如未來(lái)的 AI 生產(chǎn)力高，某種意義上，人類團(tuán)隊(duì)比 AI 團(tuán)隊(duì)擁有更多的多樣性，這也許是有道理的。我們?nèi)绾我l(fā) AI 之間有意義的多樣性？我認(rèn)為僅僅提高溫度 (temperature) 只會(huì)導(dǎo)致胡言亂語(yǔ)。你想要更像是不同的科學(xué)家有不同的偏見(jiàn)或不同的想法。你如何在 AI 智能體之間獲得那種多樣性？

Ilya Sutskever： 所以，之所以沒(méi)有多樣性，我相信是因?yàn)轭A(yù)訓(xùn)練。所有預(yù)訓(xùn)練模型幾乎都是一樣的，因?yàn)樗鼈冊(cè)谙嗤臄?shù)據(jù)上進(jìn)行預(yù)訓(xùn)練。現(xiàn)在 RL 和后訓(xùn)練 (post-training) 是開(kāi)始出現(xiàn)一些分化的地方，因?yàn)椴煌娜讼氤隽瞬煌?RL 訓(xùn)練。

Dwarkesh Patel： 我聽(tīng)說(shuō)你過(guò)去暗示過(guò)關(guān)于自我對(duì)弈 (self-play) 作為一種獲取數(shù)據(jù)或?qū)⒅悄荏w與同等智能的其他智能體匹配以啟動(dòng)學(xué)習(xí)的方式。我們應(yīng)該如何思考為什么沒(méi)有這種東西在 LLM 上起作用的公開(kāi)提議？

Ilya Sutskever： 我想說(shuō)有兩點(diǎn)。我認(rèn)為自我對(duì)弈有趣的原因是它提供了一種僅使用算力而不使用數(shù)據(jù)來(lái)創(chuàng)建模型的方法。如果你認(rèn)為數(shù)據(jù)是最終瓶頸，那么僅使用算力就非常有趣。所以這就是它有趣的地方。

問(wèn)題在于自我對(duì)弈，至少在過(guò)去的做法中 —— 當(dāng)你有彼此競(jìng)爭(zhēng)的智能體時(shí) —— 它只對(duì)發(fā)展特定的一套技能有好處。它太狹隘了。它只對(duì)談判、沖突、某些社交技能、制定策略這類東西有好處。如果你關(guān)心這些技能，那么自我對(duì)弈將是有用的。

實(shí)際上，我認(rèn)為自我對(duì)弈確實(shí)找到了歸宿，只是形式不同。所以像辯論、證明者 - 驗(yàn)證者 (prover-verifier)，你有某種 LLM 作為裁判，它也被激勵(lì)去發(fā)現(xiàn)你工作中的錯(cuò)誤。你可以說(shuō)這不完全是自我對(duì)弈，但我相信這是人們正在做的一種相關(guān)的對(duì)抗性設(shè)置。

真正的自我對(duì)弈是更普遍的智能體之間競(jìng)爭(zhēng)的一個(gè)特例。對(duì)競(jìng)爭(zhēng)的自然反應(yīng)是試圖變得不同。所以如果你把多個(gè)智能體放在一起，你告訴他們：「你們都需要解決某個(gè)問(wèn)題，你是一個(gè)智能體，你在檢查其他人正在做什么，」他們會(huì)說(shuō)：「好吧，如果他們已經(jīng)采取了這種方法，我不清楚我是否應(yīng)該追求它。我應(yīng)該追求一些差異化的東西。」所以我認(rèn)為像這樣的事情也可以為方法的多樣性創(chuàng)造激勵(lì)。

研究品味

Dwarkesh Patel： 最后一個(gè)問(wèn)題：什么是研究品味？顯然你是世界上被認(rèn)為在 AI 研究方面最有品味的人。你是深度學(xué)習(xí)歷史上發(fā)生的最大事件的合著者，從 AlexNet 到 GPT-3 等等。它是什么，你如何描述你是如何想出這些想法的？

Ilya Sutskever： 我可以就我自己評(píng)論這一點(diǎn)。我認(rèn)為不同的人做法不同。有一件事指引著我個(gè)人，那就是通過(guò)思考人是怎樣的，而且是正確地思考，來(lái)形成關(guān)于 AI 應(yīng)該是怎樣的審美。不正確地思考人是怎樣的很容易，但正確地思考人意味著什么？

我給你舉幾個(gè)例子。人工神經(jīng)元 (artificial neuron) 的想法直接受大腦啟發(fā)，這是一個(gè)偉大的想法。為什么？因?yàn)槟阏f(shuō)大腦有所有這些不同的器官，它有褶皺 (folds)，但褶皺可能并不重要。為什么我們認(rèn)為神經(jīng)元重要？因?yàn)橛泻芏嗌窠?jīng)元。這感覺(jué)是對(duì)的，所以你想要神經(jīng)元。你想要某種局部的學(xué)習(xí)規(guī)則來(lái)改變神經(jīng)元之間的連接。大腦這么做感覺(jué)是合理的。

分布式表征 (distributed representation) 的想法。大腦對(duì)經(jīng)驗(yàn)做出反應(yīng)，因此我們的神經(jīng)網(wǎng)絡(luò)應(yīng)該從經(jīng)驗(yàn)中學(xué)習(xí)的想法。大腦從經(jīng)驗(yàn)中學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)應(yīng)該從經(jīng)驗(yàn)中學(xué)習(xí)。你會(huì)問(wèn)自己，什么是根本的，什么不是根本的？事物應(yīng)該是怎樣的。

我認(rèn)為這一直在相當(dāng)程度上指引著我，從多個(gè)角度思考，尋找近乎美的東西，美和簡(jiǎn)單。丑陋，這里沒(méi)有丑陋的容身之地。它是美、簡(jiǎn)單、優(yōu)雅、從大腦中獲得的正確靈感。所有這些事情需要同時(shí)存在。它們存在的越多，你就越能對(duì)一個(gè)自上而下的信念充滿信心。

自上而下的信念是在實(shí)驗(yàn)反駁你時(shí)支撐你的東西。因?yàn)槿绻憧偸窍嘈艛?shù)據(jù)，好吧，有時(shí)你可能做的是正確的事情，但有個(gè) Bug。但你不知道有個(gè) Bug。你怎么能分辨有沒(méi)有 Bug？你怎么知道你是應(yīng)該繼續(xù)調(diào)試還是斷定這是錯(cuò)誤的方向？就是靠自上而下。你可以說(shuō)事情必須是這樣的。像這樣的東西必須工作，因此我們得繼續(xù)。這就是自上而下，它基于這種多層面的美和大腦的靈感。

Dwarkesh Patel： 好的，我們就聊到這里。

Ilya Sutskever： 非常感謝。