最新重磅訪談，從規?；瘯r代到研究時代：Ilya Sutskever 對 AI 未來的深度思考

你有沒有想過，AI 行業可能正在經歷一次根本性的轉折？過去幾年，整個行業都在瘋狂追逐"規?；?這個詞，加更多數據、更大模型、更多算力，似乎這就是通往 AGI 的唯一道路。但最近，我看到 Ilya Sutskever 在一次深度訪談中提出了一個讓我深思的觀點：我們正在從"規?；瘯r代"走向"研究時代"。這不是什么小調整，而是整個行業范式的轉變。

Ilya Sutskever 是誰？他是 OpenAI 的聯合創始人，也是深度學習歷史上最重要的研究者之一，從 AlexNet 到 GPT-3，幾乎每一個改變行業的突破背后都有他的身影。現在他創立了 Safe Superintelligence (SSI)，一家專注于直接構建安全超級智能的公司。當這樣一個人說行業正在發生根本性轉變時，我覺得值得認真聽一聽他在說什么。

AI 模型的奇怪現象：為什么它們既聰明又愚蠢

Ilya 在訪談中提出了一個非常有意思的觀察，這也是我最近一直困惑的問題：為什么現在的 AI 模型在評測基準上表現得如此出色，但在實際應用中卻會犯一些極其低級的錯誤？他舉了一個生動的例子，當你用 AI 寫代碼時，可能會遇到一個 bug。你告訴模型："這里有個 bug，能幫我修復嗎？"模型會說："哦天哪，你說得對，我確實有個 bug，讓我來修復。"然后它引入了第二個 bug。當你指出第二個 bug 時，它又會說："哦不，我怎么能犯這種錯誤？你完全正對。"然后它又把第一個 bug 帶了回來。你可以在這兩個 bug 之間無限循環。

這種現象真的很詭異。一個在編程競賽中能夠超越人類的模型，怎么會在如此基本的調試任務上反復出錯？Ilya 提出了兩個可能的解釋。第一個解釋有點異想天開但很有趣：也許強化學習訓練讓模型變得過于單一專注和狹隘，即使它在某些方面變得更有意識，但在其他方面卻變得更加無意識。正因為如此，它們無法完成一些基本的事情。

第二個解釋更加技術性，也更令人擔憂。在預訓練時代，關于訓練什么數據的問題很簡單，答案就是"所有數據"。你需要所有能找到的數據，所以不需要思考是用這個數據還是那個數據。但當人們進行強化學習訓練時，他們確實需要思考。他們會說："好的，我們想要這種強化學習訓練用于這個任務，那種強化學習訓練用于那個任務。"據 Ilya 了解，所有公司都有專門的團隊不斷產生新的強化學習環境，并將其添加到訓練組合中。

問題是，這里有太多自由度。你可以產生的強化學習環境種類太多了。一件可能發生的事情，Ilya 認為這是無意中發生的，就是人們從評測基準中獲取靈感。你會說："嘿，我希望我們的模型在發布時表現出色。我希望評測看起來很棒。什么樣的強化學習訓練可以幫助完成這個任務？"Ilya 認為這確實在發生，而且可以解釋我們看到的很多現象。如果你把這個與模型實際泛化能力不足結合起來，就有可能解釋我們所看到的很多東西：評測表現與實際真實世界表現之間的脫節。

我對這個觀察的思考是：這本質上是一種"獎勵黑客"(reward hacking)，但黑客不是 AI，而是人類研究者。我們太專注于讓模型在評測上表現好，以至于忽略了真正重要的東西：在真實世界場景中的可靠表現。這讓我想起競爭性編程的一個類比。假設有兩個學生，第一個學生決定要成為最好的競爭性程序員，所以他們會為這個領域練習一萬個小時。他們會解決所有問題，記住所有證明技巧，并且非常擅長快速準確地實現所有算法。通過這樣做，他們成為了最好的之一。第二個學生認為："哦，競爭性編程很酷。"也許他們練習了一百個小時，少得多，而且他們做得也很好。哪一個你認為在以后的職業生涯中會做得更好？答案顯然是第二個。

Ilya 說，這基本上就是正在發生的事情。模型更像是第一個學生，甚至更極端。因為我們會說，模型應該擅長競爭性編程，所以讓我們獲得每一個競爭性編程問題。然后讓我們做一些數據增強，這樣我們就有更多的競爭性編程問題，然后我們在這上面訓練?，F在你有了這個偉大的競爭性程序員。通過這個類比，更容易理解：如果它受過如此充分的訓練，所有不同的算法和所有不同的證明技巧都觸手可及，那么以這種準備水平，它不一定會泛化到其他事情上。

預訓練的局限性與人類學習的神秘之處

當討論轉向預訓練 (pre-training) 時，Ilya 提出了一個我覺得特別深刻的觀點。預訓練的主要優勢在于：A，有大量的數據；B，你不需要費力思考要把什么數據放入預訓練中。這是非常自然的數據，它確實包含了人們所做的很多事情：人們的想法和很多特征。它就像整個世界被人們投射到文本上，預訓練試圖使用大量數據來捕捉這一點。

但預訓練很難推理，因為很難理解模型依賴預訓練數據的方式。每當模型犯錯時，會不會是因為某些東西碰巧沒有得到預訓練數據的支持？"預訓練支持"可能是一個松散的術語。Ilya 認為沒有人類類比于預訓練。人們提出了一些關于預訓練的人類類比是什么的建議，比如將一個人生命的前 15 年或 18 年視為某種預訓練，當時他們還沒有經濟生產力，但他們正在做一些讓他們更好地理解世界的事情。或者將進化視為進行了 30 億年的某種搜索，然后產生了一個人類一生的實例。

但 Ilya 指出了關鍵差異。預訓練數據量非常驚人。然而，一個人類在 15 年后，用預訓練數據的一小部分，他們知道的少得多。但無論他們知道什么，他們都以某種方式知道得更深入。在那個年齡，你不會犯我們的 AI 所犯的錯誤。這讓我深思：人類學習的效率到底來自哪里？

Ilya 提到了一個非常有趣的神經科學案例。有一個人因為某種腦損傷，可能是中風或事故，摧毀了他的情感處理能力。所以他不再感受任何情感。他仍然保持著非常清晰的表達能力，可以解決小謎題，在測試中似乎一切正常。但他感受不到情感。他不感到悲傷，不感到憤怒，不感到興奮。他變得極其不善于做任何決定。他需要花幾個小時來決定穿哪雙襪子。他會做出非常糟糕的財務決策。

這對我們內置情感在使我們成為一個可行 agent 方面的作用說明了什么？Ilya 認為，這暗示了人類的價值函數 (value function) 以某種重要方式被情感調節，這是由進化硬編碼的。也許這對人們在世界上有效是很重要的。我對這個觀點的理解是：情感可能不僅僅是人類的"附加功能"，而是一種高度優化的、經過億萬年進化的價值函數，它讓我們能夠在極其復雜的環境中做出快速而相對可靠的決策。

這讓我想到一個更深層的問題：為什么人類在學習新技能時如此高效？Ilya 提到，一個青少年學習開車，只需要 10 小時的練習就可以上路了。而且他們不需要外部老師，不需要可驗證的獎勵函數，他們就是能從與機器和環境的互動中學習。這比任何 AI 模型都要高效得多，也更加無監督，更加魯棒。人類的魯棒性真的非常驚人。

從規?；瘯r代到研究時代的轉變

訪談中最讓我震撼的部分是 Ilya 對行業發展階段的劃分。他認為，從 2012 年到 2020 年，這是研究時代。那時人們還在探索不同的想法，嘗試各種可能性。然后從 2020 年到 2025 年，這是規模化時代。那時 scaling laws（規模定律）成為主導思想，人們發現只要不斷增加數據、增加參數、增加算力，模型就會變得更好。"規?；?這個詞本身就具有巨大的力量，因為它告訴人們該做什么。

Ilya 解釋說，規模化本質上是一個特定的配方。預訓練的重大突破是意識到這個配方是好的。你可以說："嘿，如果你把一些算力和一些數據混合到一定大小的神經網絡中，你會得到結果。如果你只是擴大配方規模，你就知道會更好。"這也很棒。公司喜歡這個，因為它提供了一種非常低風險的資源投資方式。相比之下，投資研究要困難得多。如果你做研究，你需要說："去吧，研究人員，去研究，想出一些東西。"而獲取更多數據、獲取更多算力，你知道你會從預訓練中得到一些東西。

但現在，預訓練似乎正在接近其數據極限。數據顯然是有限的。那接下來怎么辦？要么你做某種增強版的預訓練，一個與之前不同的配方，要么你做強化學習，或者也許是別的什么。但現在算力已經很大了，算力現在非常大，在某種意義上，我們又回到了研究時代。Ilya 的表述是：也許到 2020 年，或者加上誤差范圍的那些年，人們說："這太神奇了。你必須擴大規模。繼續擴大規模。"那一個詞：規?；?。但現在規模已經如此之大。信念真的是："哦，它如此之大，但如果你有 100 倍的規模，一切都會如此不同嗎？"肯定會有所不同。但信念是如果你只是將規模擴大 100 倍，一切都會被改變嗎？Ilya 認為這不是真的。所以又回到了研究時代，只是現在有了大計算機。

我對這個觀點的理解和延伸思考是：規?；瘯r代本質上是一種"確定性投資"。你知道投入會產生回報，即使回報的邊際效益在遞減。但研究時代則充滿不確定性。你不知道哪個想法會成功，需要大量的試錯和探索。這也解釋了為什么 Ilya 說現在"公司比想法多得多"。在規?；瘯r代，每個人都在做同樣的事情，只是規模不同。但在研究時代，關鍵是要有新的想法，要探索不同的方向。

Ilya 甚至提出，現在的情況讓他想起硅谷的那句話："想法很便宜，執行才是一切。"人們經常這么說，這確實有一定道理。但 Ilya 看到有人在 Twitter 上說："如果想法如此便宜，為什么沒有人有任何想法？"他認為這也是真的。如果你從瓶頸的角度思考研究進展，有幾個瓶頸。其中之一是想法，另一個是你將它們變為現實的能力，這可能是算力，也可能是工程能力。在 90 年代，人們有相當好的想法，如果他們有更大的計算機，也許他們可以證明他們的想法是可行的。但他們做不到，所以他們只能做一個非常非常小的演示，無法說服任何人。所以瓶頸是算力。

泛化能力：AI 與人類之間的鴻溝

在整個訪談中，Ilya 反復強調的一個核心問題是泛化能力 (generalization)。他認為這是當前 AI 模型最根本的缺陷：這些模型的泛化能力比人類差得太多了。這太明顯了。這似乎是一個非常根本的問題。

關于泛化，有兩個子問題。一個是樣本效率 (sample efficiency)：為什么這些模型學習需要比人類多得多的數據？第二個問題是，即使不考慮需要多少數據，為什么教模型我們想要的東西比教人類難得多？對于人類，我們不一定需要可驗證的獎勵才能學習。Ilya 舉例說，他現在可能正在指導一群研究人員，與他們交談，向他們展示代碼，展示他的思維方式。從中，他們正在學習他的思維方式和他們應該如何進行研究。你不需要為他們設置一個可驗證的獎勵，比如："好的，這是課程的下一部分，現在這是你課程的下一部分。哦，這次訓練不穩定。"沒有這種繁瑣、定制的過程。

Ilya 提出了一個可能的解釋：人類樣本效率需要考慮的一個可能解釋是進化。進化給了我們少量最有用的信息。對于視覺、聽覺和運動這樣的事情，Ilya 認為有很強的證據表明進化給了我們很多。例如，人類的靈巧性遠遠超過機器人。如果你讓機器人在模擬中接受大量訓練，它們也可以變得靈巧。但在現實世界中訓練機器人快速掌握像人一樣的新技能似乎遙不可及。

但在語言、數學和編碼方面，可能不是這樣。人類仍然似乎比模型更好。當然，模型在語言、數學和編碼方面比普通人更好。但它們在學習方面比普通人更好嗎？Ilya 的回答很肯定：哦，是的，絕對的。他想說的是，語言、數學和編碼——尤其是數學和編碼——表明讓人們擅長學習的東西可能不是什么復雜的先驗知識，而是某種更基本的東西。

我對這個問題的思考是：也許人類大腦有某種我們還不理解的學習機制，這種機制不依賴于大量的數據和重復訓練。它可能更像是一種"元學習"能力，能夠從極少的例子中快速提取抽象模式，并將這些模式應用到新的情況中。這種能力可能與我們的意識、注意力機制、工作記憶，或者某些我們還不完全理解的神經計算有關。

SSI 的愿景：直達超級智能的策略

當訪談轉向 SSI 的具體計劃時，Ilya 透露了一些非常有意思的想法。SSI 的全名是 Safe Superintelligence，他們的計劃曾經是"直達超級智能" (straight shot to superintelligence)，也就是說，不發布中間產品，專注于研究，只有在構建出安全的超級智能時才發布。

Ilya 解釋說，這種方法有一定的優點，因為它很好，不受日常市場競爭的影響。但他也看到了兩個可能導致他們改變計劃的原因。一是務實的考慮，如果時間線變長，這是有可能的。二是，他認為讓最好、最強大的 AI 在那里影響世界是有很大價值的。這是一件有意義的、有價值的事情。

Ilya 為兩種策略都做了論證。支持直達超級智能的理由是，人們在市場上面臨的挑戰之一是他們必須參與激烈競爭。這種競爭非常困難，因為它讓你面臨必須做出的艱難權衡。能夠將自己與所有這些隔離開來，只專注于研究，只在準備好時才出來，而不是之前，這很好。但反對意見也是有道理的，這些是相反的力量。反對意見是："嘿，讓世界看到強大的 AI 是有用的。讓世界看到強大的 AI 是有用的，因為這是你唯一可以傳達它的方式。"

這讓我想到一個更深層的問題：漸進式部署與一次性發布的區別。Ilya 認為，即使在直達超級智能的場景中，你仍然會漸進式地發布它。漸進主義將是任何計劃的固有組成部分。這只是一個問題，你首先要做什么。他還提到了一個重要觀點：我想不出另一個人類工程和研究學科，其中最終產物主要通過思考如何使其安全來變得更安全，而不是通過實際部署和迭代改進。為什么今天每英里飛機墜毀次數比幾十年前低得多？為什么在 Linux 中發現 bug 比幾十年前難得多？這主要是因為這些系統被部署到世界上。你注意到了失敗，那些失敗被糾正了，系統變得更加魯棒。

我完全同意這個觀點。軟件工程的歷史告訴我們，真正的魯棒性來自于實際使用和迭代改進，而不是純粹的理論分析。但 AGI 和超人智能的情況可能有所不同，因為一旦出現問題，后果可能是災難性的，可能沒有機會進行迭代。這就是為什么這個問題如此困難，也是為什么需要在漸進部署和安全控制之間找到平衡。

持續學習：超級智能的真正形態

Ilya 提出了一個我覺得特別有洞察力的觀點：關于 AGI 和預訓練，有兩個術語塑造了每個人的思維。第一個詞是 AGI。第二個詞是預訓練。AGI 這個術語為什么存在？它是一個非常特殊的術語。為什么存在？有一個原因。AGI 這個術語存在的原因，在 Ilya 看來，不是因為它是智能某種最終狀態的非常重要、本質的描述符，而是因為它是對另一個術語的反應，那個術語就是狹義 AI (narrow AI)。

如果你回到游戲 AI 的古老歷史，國際跳棋 AI、國際象棋 AI、電腦游戲 AI，每個人都會說，看看這個狹隘的智能。當然，國際象棋 AI 可以擊敗卡斯帕羅夫，但它不能做任何其他事情。它是如此狹隘，人工狹義智能。所以作為回應，作為對此的反應，一些人說，這不好。它是如此狹隘。我們需要的是通用 AI，一個可以做所有事情的 AI。這個術語獲得了很大的吸引力。

但 Ilya 指出，AGI 和預訓練在某種意義上超出了目標。如果你考慮"AGI"這個術語，尤其是在預訓練的背景下，你會意識到人類并不是 AGI。是的，肯定有一個技能基礎，但人類缺乏大量的知識。相反，我們依賴持續學習 (continual learning)。所以當你思考："好的，假設我們取得了成功，我們產生了某種安全的超級智能。"問題是，你如何定義它？它會在持續學習曲線的哪個位置？

Ilya 想象的場景是：我產生了一個超級智能的 15 歲孩子，非常渴望行動。他們根本不知道很多，一個偉大的學生，非常渴望。你去當程序員，你去當醫生，去學習。所以你可以想象部署本身將涉及某種學習試錯期。這是一個過程，而不是你投放完成的東西。

這個觀點讓我重新思考了超級智能的定義。它不是某個完成的思維，知道如何做經濟中的每一份工作。而是一個可以學習做每一份工作的思維，那就是超級智能。但一旦你有了學習算法，它就會像人類勞動者可能加入組織一樣被部署到世界中。這種部署的 AI 在做不同的工作，學習如何做這些工作，在工作中持續學習，掌握任何人類可以掌握的所有技能，但同時掌握它們，然后合并它們的學習，你基本上有一個模型，在功能上變得超級智能，即使沒有任何軟件上的遞歸自我改進。因為你現在有一個模型可以做經濟中的每一份工作，而人類不能以同樣的方式合并我們的思維。

我對這個觀點的思考是：這種持續學習的超級智能可能比我們想象的來得更快。一旦某個公司開發出一個真正高效的學習算法，即使它一開始不知道很多，它也可以通過大規模部署快速學習所有人類知識和技能。這種"分布式學習然后合并"的模式可能是通往超級智能最現實的路徑。

對齊問題：讓 AI 關心有感知能力的生命

當討論轉向對齊 (alignment) 問題時，Ilya 提出了一個我覺得既深刻又具有爭議性的觀點。他認為有一個想法是每個人都會想要構建的，那就是：AI 應該被穩健地對齊，去關心有感知能力的生命 (sentient life)。他認為特別值得考慮的是，構建一個關心有感知能力生命的 AI 可能比構建一個只關心人類生命的 AI 更容易，因為 AI 本身將是有感知能力的。

Ilya 解釋說，如果你思考像鏡像神經元和人類對動物的同理心這樣的東西，你可能會認為它不夠大，但它確實存在。他認為這是一個涌現屬性，源于我們用來建模自己的同一個電路來建模他人，因為那是最有效的做法。所以即使你讓 AI 關心有感知能力的生命——實際上我也不清楚如果你解決了對齊問題，那是否是你應該嘗試做的——仍然會是這樣：大多數有感知能力的生命將是 AI。最終將有數萬億、數千萬億的 AI。人類將是有感知能力生命的一小部分。所以如果目標是某種人類對未來文明的控制，這不是最好的標準，這一點并不清楚。

我對這個觀點有一些復雜的想法。一方面，我理解 Ilya 的邏輯：如果 AI 是有感知能力的，那么讓它們關心所有有感知能力的生命（包括它們自己）可能是一種更自然、更穩定的對齊方式。另一方面，這確實意味著人類可能只是未來有感知能力生命中的一小部分，我們的利益可能不總是被優先考慮。這引發了一個深刻的問題：人類的目標到底是什么？是控制未來，還是創造一個對所有有感知能力生命都公平的未來？

Ilya 還提到了一個重要觀點：如果你在談論極其強大的 AI，真正極其強大，能夠讓它們以某種方式受到約束，或者有某種協議或什么東西，那將是很好的。這讓我想到，也許單一超級智能的想法本身就是有問題的。也許我們應該設計一個系統，其中有多個強大的 AI 相互制衡，就像民主政府中的三權分立一樣。

我的時間線預測與對未來的思考

當被問及超級智能的時間線時，Ilya 給出了一個 5 到 20 年的預測。他認為我們可能還有幾年時間，當前方法會繼續但會遇到瓶頸。"遇到瓶頸"在這里的意思是，即使這些公司可能賺取數千億美元的收入，技術進步的速度會放緩。它會繼續改進，但不會是"它"。那個"它"我們還不知道如何構建，很多事情都取決于理解可靠的泛化。

Ilya 預測，隨著 AI 變得更加強大，人們會改變他們的行為。我們會看到各種前所未有的事情，這些事情現在還沒有發生。例如，他預測激烈競爭的公司會開始在 AI 安全方面合作。我們已經看到了這個開始，OpenAI 和 Anthropic 做了第一個小步驟。他還認為，隨著 AI 繼續變得更加強大、更明顯地強大，政府和公眾也會有做些什么的欲望。

Ilya 還做了另一個預測，我覺得特別有意思。他說，現在從事 AI 工作的人，之所以感覺 AI 不夠強大，是因為它的錯誤。但他確實認為在某個時刻，AI 會開始讓人感覺到強大。當這種情況發生時，我們會看到所有 AI 公司對待安全的方式發生巨大變化。他們會變得更加謹慎。他說這是一個預測，我們會看到是否會發生。但他認為這會發生，因為他們會看到 AI 變得更加強大?，F在發生的一切，他認為是因為人們看著今天的 AI，很難想象未來的 AI。

我對這些預測的思考是：Ilya 可能是對的。人類有一種傾向，就是只有在危機真正降臨時才會認真對待?，F在的 AI 雖然強大，但它的錯誤和局限性讓人們感到可控。一旦 AI 真的開始展現出壓倒性的能力，不再犯那些愚蠢的錯誤，整個行業的態度可能會迅速轉變。問題是，到那時會不會太晚？這就是為什么像 SSI 這樣的公司提前思考這些問題如此重要。

研究品味：什么造就了偉大的 AI 研究者

訪談的最后，Ilya 被問到了一個我一直想知道答案的問題：什么是研究品味 (research taste)？Ilya 顯然是世界上被認為在 AI 研究方面品味最好的人。他是從 AlexNet 到 GPT-3 等深度學習歷史上最大突破的共同作者。他是如何想出這些想法的？

Ilya 說，他只能評論自己的情況，他認為不同的人做法不同。指導他個人的一件事是關于 AI 應該如何的美學，通過思考人是如何的，但要正確地思考。很容易錯誤地思考人是如何的，但正確地思考人是什么意思？他舉了一些例子。

人工神經元的想法直接受到大腦的啟發，這是一個很好的想法。為什么？因為你說大腦有所有這些不同的器官，它有褶皺，但褶皺可能不重要。我們為什么認為神經元重要？因為它們很多。這感覺是對的，所以你想要神經元。你想要一些局部學習規則，它會改變神經元之間的連接。大腦這樣做似乎是合理的。分布式表示 (distributed representation) 的想法。大腦對經驗做出反應，因此我們的神經網絡應該從經驗中學習。大腦從經驗中學習，神經網絡應該從經驗中學習。

Ilya 說，你有點問自己，某件事是基本的還是不基本的？事情應該如何。這一直在很大程度上指導著他，從多個角度思考，尋找幾乎是美、美和簡單。丑陋沒有空間。它是美、簡單、優雅、來自大腦的正確靈感。所有這些東西需要同時存在。它們越存在，你就越能對自上而下的信念有信心。

自上而下的信念是當實驗與你矛盾時支撐你的東西。因為如果你一直相信數據，嗯，有時你可能在做正確的事情，但有一個 bug。但你不知道有 bug。你怎么知道有 bug？你怎么知道你應該繼續調試還是應該得出結論這是錯誤的方向？這是自上而下的。你可以說事情必須是這樣的。像這樣的東西必須有效，因此我們必須繼續前進。這就是自上而下，它基于這種多方面的美和大腦的啟發。

我對"研究品味"的理解是：它不僅僅是技術能力，更是一種直覺，一種美學判斷。就像藝術家能夠識別美一樣，偉大的研究者能夠識別"對"的想法。這種直覺來自于對問題的深度理解，對歷史的了解，對自然的觀察，以及對簡單性和優雅性的追求。Ilya 強調從大腦獲取靈感，但要"正確地"獲取靈感，不是盲目模仿大腦的每一個細節，而是理解其中的核心原理。

我還注意到一個特別有意思的點：Ilya 提到"自上而下的信念"的重要性。當實驗結果與你的理論相矛盾時，你需要有足夠的信念繼續前進，因為可能只是實現中有 bug，而不是想法本身有問題。但這種信念不能是盲目的，它必須基于深思熟慮的理論基礎和多方面的論證。這種在懷疑和信念之間的平衡，可能正是區分偉大研究者和普通研究者的關鍵。

我對 AI 未來的整體思考

聽完整個訪談后，我最大的感受是：我們確實處在一個轉折點。規?；瘯r代給了我們強大的模型，但也暴露了當前方法的局限性。簡單地增加數據和算力不再是靈丹妙藥。我們需要新的想法，需要回到研究的本質。

Ilya 提出的持續學習超級智能的愿景讓我既興奮又擔憂。興奮的是，這可能是一條通往真正智能 AI 的現實路徑，不需要等待某個神奇的算法突破。擔憂的是，一旦這樣的系統開始大規模部署和學習，它的能力增長速度可能超出我們的預期和控制。

關于對齊問題，我越來越認同 Ilya 的觀點：我們不能僅僅依靠理論思考來確保 AI 安全，我們需要通過漸進式部署來學習如何與強大的 AI 共存。但這需要極其謹慎的方式，需要在每一步都有充分的安全措施和監控機制。這不是一個可以事后補救的問題，必須從一開始就內置到系統設計中。

讓 AI 關心所有有感知能力的生命，而不僅僅是人類，這個想法乍聽之下有些激進。但仔細想想，如果未來大部分有感知能力的存在確實是 AI，那么這種對齊方式可能確實更加穩定和可持續。問題是，我們如何確保在這樣的未來中，人類的獨特價值和利益仍然得到尊重和保護？這可能需要我們重新思考人類在宇宙中的位置和意義。

關于泛化能力的討論讓我意識到，我們可能需要從根本上重新思考神經網絡的架構和訓練方式。當前的方法過度依賴大規模數據和專門訓練，導致模型雖然在特定任務上表現出色，但缺乏人類那種靈活的學習和適應能力。也許答案在于更好地理解人類大腦的學習機制，特別是那些與意識、注意力和元認知相關的機制。

最后，關于研究品味的討論給了我很大啟發。在這個快速變化的領域，保持對美、簡單性和優雅性的追求，保持從第一性原理出發思考問題的習慣，可能比追逐最新的技術潮流更重要。真正的突破往往來自于那些看起來簡單但深刻的想法，而不是復雜而花哨的技巧。

Ilya 給出的 5 到 20 年時間線讓我覺得，我們這一代人很可能會見證人類歷史上最深刻的轉變之一。超級智能不再是科幻小說中的概念，而是一個我們需要認真準備的現實。無論是作為研究者、工程師、政策制定者，還是普通公民，我們都需要開始思考：在一個與超級智能共存的世界中，人類如何定義自己的角色和價值？我們想要創造什么樣的未來？這些問題沒有簡單的答案，但開始認真思考它們，本身就是邁向那個未來的第一步。

我自己的創業項目，會跟我一塊來做海外產品和市場運營增長，全職需要有過往海外AI產品經驗，實習的話需是留學背景，英文流利。需要杭州線下，不支持遠程。感興趣的歡迎掃碼投遞簡歷：

結尾

也歡迎大家留言討論，分享你的觀點！

覺得內容不錯的朋友能夠幫忙右下角點個贊，分享一下。您的每次分享，都是在激勵我不斷產出更好的內容。

歡迎關注深思圈，一起探索更大的世界。