AI安全大神最新燒腦訪談:為什么99.99%的人無法在超級AI時代幸存

美國人工智能安全領域權威專家、肯塔基大學計算機工程副教授羅曼?揚波爾斯基（Roman Yampolskiy）近日做客知名博客節目《Impact Theory》。

他與主持人Tom Bilyeu共同探討了：我們距離通用人工智能（AGI）還有多遠？隨著人工智能系統變得更為強大和自主，會出現哪些危險？我們該如何著手測試和控制一種可能很快在各方面超越人類智能的東西？

從超人機器時代人類意義喪失的哲學困境，到迫切需要弄清我們能否以及如何使人工智能與我們的價值觀相一致，這場對話并不回避最壞的情況。

以下為對談實錄：

Tom Bilyeu：

2023年，近一半的人工智能研究人員表示，先進的人工智能至少有10% 的機會導致人類滅絕。 然而我們正在加速，而不是減速。

今天我的客人是Roman Yampolskiy博士，他是AI安全方面的主要聲音之一。當我問他超級智能消滅人類的幾率時，他說很高。一旦人工智能在每個領域變得比人類更聰明，我們將無法控制它。

在今天的節目中，我們談論了令人震驚的時間表，為什么超級智能可能比人們想象的要近得多，以及為什么我們物種的生存可能取決于現在做出的決定，如果你想了解人類歷史上最重要的技術威脅。

這也是我們最大的機會，這是你不能錯過的一集。所以，事不宜遲，我給你帶來了Roman Yampolskiy博士。

現在的ChatGPT在哪里，你認為ChatGPT是通用人工智能嗎？我懷疑你會不會稱之為超級智能，但你會把它歸類為超級智能嗎？或者你仍然認為我們離符合條件的東西還有很長的路要走嗎？

Roman Yampolskiy：

這是一個很好的問題。如果你問20年前的人，告訴他們我們今天的系統，他們可能會認為我們已經有了完整的AGI。

我們可能沒有完全的概括性。我們在許多領域都有它，但仍然有些事情它不是很擅長，沒有永久記憶，在已經預先訓練和部署后，它沒有能力很好地學習其他東西，它可以做一定程度的學習，但它仍然是有限的。

它不像人類在一生中那樣具有相同的能力，但我們越來越接近那些差距被彌合的地方，并且它開始在真正有趣和重要的科學、數學、工程等領域變得富有成效。它開始做出新的貢獻，現在頂級學者在研究中越來越依賴它。

所以我想我們已經接近完全成熟的AGI了。也許我們的數據接近50%，但很難確定到底有多少不同的子領域是決定因素。

Tom Bilyeu：

好嗎？所以你提出的一個非常有趣的想法是，嘿，我是一名工程師，我喜歡人工智能，但我希望你能把它保持得非常狹窄，有哪些關于通用人工智能的問題在狹義人工智能中沒有問題？

Roman Yampolskiy：

所以有一大堆，其中一個是測試，你如何測試這個系統能夠在每個領域執行？

通常沒有灰燼案例，如果我正在開發一些狹窄的，非常狹窄的系統，我只是在玩ticca，我可以測試它是否正在進行合法的舉動，我可以測試0，我可以測試百，我可以知道所有這些奇怪的特殊情況，并知道它是否像預期的那樣具有普遍性。它能夠在許多領域產生創造性的輸出。

我不知道會發生什么，我不知道正確答案是什么，我不知道如何測試它，我可以針對特定的事情進行測試。如果我發現一個錯誤，我會修復它。

我可以告訴你我發現了一個問題，并且已經解決了，但我不能保證沒有問題。所以基本上測試是窗外的事情，任何對它將如何行動和影響不同子域的預期，它都是創造性的，所以它就像一個人一樣，我不能保證另一個人總是會表現得很好。

我們有點談論它，我們開發了測謊儀，我們開發了各種工具來試圖證明人類是安全的，但在一天結束時，由于與環境，其他代理，框架內的個人變化的相互作用，人們可能會背叛你。這些東西也是一樣的。如果我們專注于狹窄的系統，我們更擅長測試它們，它們的可能性范圍有限。一個只受過下棋訓練的系統不會發展出生物武器。

Tom Bilyeu：

我實際上不明白為什么這會對你有幫助，所以我這么說的原因是我知道我可以相信一定比例的人類是惡意的。因此，只要AI變得更高效，它就是并且將繼續這樣做，我就會縮放。你將會有一個孩子在車庫里，他將能夠去車庫。我將針對生物武器進行優化。我不在乎TikTok或TikTok，我只是想，讓我們看看我們能做什么有多危險。所以他們將能夠做到這一點。那么，為什么狹窄的AI對你來說是安全的呢？

Roman Yampolskiy：

感覺對于短期顧問來說是安全的，我認為基于神經架構的足夠先進的神經系統也將隨著我們能力的提高而變得更加通用。

但如果現在的選擇是正確的，我們是否在兩年內提高到完全的超級智能？或者我們試圖集中精力用狹窄的工具解決特定的癌癥？

我認為，不進行超級智能的軍備競賽是一個更安全的選擇。

Tom Bilyeu：

我肯定明白。你試圖限制所有問題的范圍，但是當我真正開始思考我擔心的一件事情時，其中一個重要的事情就是意義的消失。所以當AI變得比你在所有方面都更好時，你會遇到一個巨大的問題。

現在我必須告訴自己一個故事，你就像我一樣，與AI從藝術角度可以做的事情相比。我就像一個小學生，所以很難對我能做的冰箱圖紙感到興奮，與你相比，它基本上可以瞬間完成。

所以現在我們必須做很多心理工作，激勵自己，讓自己知道我們的生活有意義。狹窄的AI也會造成同樣的問題。

你同意這一點，還是你看到了一種方式，不，當AI只擅長那件事時，就像人類以某種方式逃避失去意義的問題？

Roman Yampolskiy：

是的，所以我最初也有同樣的直覺，但是看看我們已經擁有的來自像國際象棋這樣的超人人工智慧領域的數據，她還沒有死。

事實上，它比以往任何時候都更受歡迎。人們在線玩，人們親自玩，但他們仍然喜歡與他人競爭，盡管與最好的AI模型相比，它們都很糟糕，對吧？沒有人會再次成為對陣機器的世界冠軍。

所以看起來這對我們來說不是問題。對于狹窄的人工智慧系統，我們有可能保留它們作為工具。使用人類科學家將部署一種工具來尋找新蛋白質，而不是獨立參與這些發現的代理。

Tom Bilyeu：

好吧，這很有趣。所以我不知道我是否同意，但我明白你要去哪里。

好的，現在讓我們來談談為什么AGI是ASI可怕的助產士。有沒有圍繞AGI的測試，我們會想，如果它不能做以下事情，我們就好了？

例如，很長一段時間以來，AI似乎無法自學。但我還是看到了頭條新聞，希望你能告訴我它們不是真的。但我看到的頭條新聞是，現在人工智能正在創造最有效的學習算法本身，如果這是真的，似乎是遞歸自學習道路上的第一步，它將完全與我們分離，使自己變得越來越聰明。

Roman Yampolskiy：

我們已經有了AI教學的例子。自我游戲就是這樣。這就是像Go這樣的游戲被成功擊敗的原因。一個系統會與自己玩很多很多的游戲，更好的解決方案，更好的代理會傳播這些方案，過了一會兒，在沒有任何人類數據的情況下，他們變成了超人。

在這些領域。你可以生成人工數據。在其他領域，您可以使用1個AI來生成環境，使用另一個來競爭環境，這就創造了這種自我提升。

通常，我們從人類數據開始作為種子并從那里成長，但是沒有理由認為，我們不能在其他領域使用零知識學習。

您可以進行運行，運行我們的物理和化學實驗，從基本原理中發現事物。是的，我們開始看到AI被用來協助設計新模型、模型參數、優化運行，這個過程將繼續下去。

我們已經設計了新的計算機芯片，它們可以在上面運行，所以這絕對是一個改進周期。它沒有完全完成。還有人類在循環中，很多偉大的人類在循環中，但從長遠來看，我認為所有步驟都可以自動化。

Tom Bilyeu：

好的，你認為現在AI已經有了它需要改進自己的東西嗎？還是我們仍然處于這樣一個點，如果所有人類停止使用AI，它就會像，哦，該死的，我沒有得到我需要的東西？

Roman Yampolskiy：

因此，關于我們在實現全面的平等和超級智能或多重突破方面需要什么，或者如果僅僅擴大我們所擁有的就足夠了，如果我再投入價值萬億美元的計算來訓練更多的數據，我會達到鍍鋅嗎？

很多圖表，很多模式表明，但它將繼續擴展。我們不會在推動回報方面打擊他們。有些人不同意，但根據我們在這個行業看到的投資金額，似乎人們愿意押注他們的資金規模將繼續擴大。

Tom Bilyeu：

你會怎么想呢？因為這感覺就像當我在Facebook上聽到詹·拉庫的談話時，他說，伙計，l.l.m.s永遠不會在物理學上取得新的突破。他們不理解這個世界。他們實際上只是根據他們在數據中看到的模式猜測下一個字母。所以他們將無法思考這些問題。

現在，如果他是正確的，它將漸近線，就是這樣。你可以根據需要進行盡可能多的計算，但這是錯誤的方法。你認為他是正確的，更多的計算不是答案，或者你只是在上面操作嗎？好吧，我沒有看到漸近線，因此我假設它不會。

Roman Yampolskiy：

我認為他在這一點上是不正確的。因此，為了預測下一術語，您需要創建整個世界的模型，因為令牌取決于世界上的一切。你不是在預測一種語言的隨機統計特征。你在預測物理學研究論文中的下一個單詞。為了獲得正確的信息，你需要有一個世界的物理模型。

我認為簡以預測模型的能力而聞名。然后在一周內，人們證明了，不，事實上，他們實際上可以做到這一點。我希望他是對的。如果他是對的，那就太好了。

我們突然停下來，能力不斷進步，可以利用我們已經擁有的東西在未來十年左右，將其傳播到經濟中。

我認為已經有數十億甚至數萬億美元的財富，而且我們還沒有部署這些能力。所以沒有必要盡快達到下一個層次。但似乎并非如此。我認為他的朋友在為機器學習工作期間也不同意他，并且非常關注安全。

Tom Bilyeu：

我們構建llum的大腦皮層的方式有些問題，只要它能夠訪問我稱之為更多的神經元，就可以訪問更多的計算，或者從理論上講，我們可以在我的類比中獲得每個GPU神經元的效率更高。它會自己繼續進步。

所以，如果你說了，我也沒有完全得到答案。我不完全，我無法把它作為是否的答案。人工智能能夠創造出優于它所給出的算法的學習算法。

我在你的A中聽到的是，人類創造的算法能夠在學習算法定義的狹窄任務中不斷使自己變得越來越好。但它能從根本上走向上帝嗎，你們想讓我學習的方式真的很愚蠢。這是我應該用來學習的算法。現在它開始以指數級的速度學習，與它現在的速度相比。

Roman Yampolskiy：

我認為，我們還沒有達到那個水平。

我不認為我們有滿滿的爆炸劑。我們現在所擁有的仍然是具有一定程度代理的工具，而且它無法遞歸地進行自我改進。

像編譯器可以優化軟件的單次過程，使其更快一些，但它們無法繼續這個過程。你不能將編譯器的代碼提供給自身，并讓它無限地改進自己。這不是我們現在的情況，但似乎自動化算法設計的這一部分正在變得越來越高效，我認為我們會到達那里。

Tom Bilyeu：

給我一個數字。賠率是多少？人工超級智能會殺死我們所有人。

Roman Yampolskiy：

相當高，所以這真的取決于你預計這種情況會發生多久。

所以在短期內，我們不太可能從人工智能中獲得這種水平的能力，所以我們可能還可以。

但是，一旦我們通過超級智能創建了一個比每個領域的任何人都更有能力的系統，我們就不太可能弄清楚如何無限期地控制它。

在那個時候，如果我們還在，那是因為無論出于何種博弈論原因，它決定讓我們留在身邊。也許在它來襲之前積累更多的資源是假裝友好的，也許它需要我們做某些事情。

這并不明顯，但我們絕對無法控制。在任何時候，它決定把我們帶走，它都能夠這樣做。

Tom Bilyeu：

好嗎？如果你打算給我們一個粗略的時間表，你是在2到5年內還是將來會有什么事情發生？

Roman Yampolskiy：

是的，所以，很難預測我們所得到的預測技術未來的最佳工具是預測市場。

他們說，也許2027年是我們實現通用人工智能的時候。我認為在超級智能之后不久，你就會在科學、工程自動化的那一刻開始，在I系統中獲得自我改進的循環，下一代人工智能由當前一代的人工智能創造，因此我們變得更有能力，他們也更有能力做出更好的I.s。 在我期待超級智能之后不久。

Tom Bilyeu：

好的，所以我們正在談論，如果這種情況大約在兩年內發生，并且有一定的誤差，那么不久之后，比如說一年，兩年后我們就擊中了ASI。

Roman Yampolskiy：

當然，這是我的預測，如果它實際上是5到10年或任何稍大的時間，那么問題是否仍然相同并不重要。

Tom Bilyeu：

是的，但我認為人們現在意識到的是，這些決定存在緊迫性。這不是一件被推向未來的事情，至少如果你接受你關于預測的觀點，市場基本上被問到人群，所以你有世界上最聰明的人愿意把錢放在他們認為的地方。每個人都在相當快地盯住這一點。

因此，我認為人們也很容易將其寫下來。這是某種遙遠未來的東西，而這是現在向我們賽車的東西，以設定桌子。我對這件事非常聽天由命。

我可以就人類思維的工作方式給出理由，我認為機械上不可能讓我們停下來。所以這對我們來說將是有趣的，你是否認為有一種機制可以讓人們慢下來。但我首先要完成問題集的四舍五入。

因此，當我仔細思考問題時，必須做出某些假設，才能讓AI進入問題領域。第一個假設是它關心它正在努力實現的任何結果。我們是否已經將AI編程為關心，就像我們必須制定一個目標，以使它達到今天的地步，現在這已經融入其中了？還是有可能AI只是不在乎？

打開我，關閉我，沒關系。你讓我做一件事，我會一直做，直到你告訴我停止為止。還是你認為智力是天生的，智力是由目標驅動的？

Roman Yampolskiy：

所以，我們訓練他們嘗試實現某個目標，這就是我們作為任何目標的副作用的工作。

你想活著，你想被關掉而不是關閉，你想要繼續前進并有能力朝著你的目標前進。

因此，生存本能在任何足夠智能的系統中都會出現。這是斯蒂芬和馬拉關于人工智能驅動的論文，也是可能出現的驅動之一。

自我保護，保護自己免受他人的修改，保護自己的目標。所以所有這些似乎都配備了足夠先進的人工智能和系統，而這些系統不具備這些能力。

如果你允許自己被關閉，他們就會在可能模型的進化空間中競爭，你就無法實現你的目標。沒有人會把你的代碼傳播到下一個系統。

Tom Bilyeu：

好的，那么這是目標方向的問題，還是智能本身的功能？

Roman Yampolskiy：

我認為這是競爭代理中生存的一種進化動力，如果你有多個算法全部競爭，例如計算資源，我們接下來要訓練什么？那些實現目標的人更有可能被轉移到下一代。

所以，它是自然進化和自然選擇的混合，智能進化，智能選擇。我們正在選擇能夠生存和交付的算法。

Tom Bilyeu：

我們正在對AI本身施加進化的力量，以使其執行我們想要的功能。

即使是現在，也有點把人工超級智能放在一邊。因此，通過施加進化的壓力，不可避免地會產生這種連鎖反應，因為你正在選擇目標獲取的強度。因為它現在有了強烈的目標捕捉，它關心的是它是否能自動存活，或者我們深入關注的是它是否真的實現了目標。

這就是最終的問題，因為對我來說，救贖總是存在的，而我開始失去相信這是真實的。

但我不明白，為什么AI系統會本質上關心它的目標，為什么我們不能編程它只追求這個目標，直到我們說停止？

順便說一下，我將平等地獎勵你停止并實現你的目標。所以，如果我說停下來，你停下來，我會給你任何獎勵功能，這是推動你實現目標的功能。

這很感知，直到你說出你剛才說的話，也就是你實際上在AI的思維架構中加入了類似的進化動力來實現目標。

Roman Yampolskiy：

這是一個非常普遍的想法。有很多關于冷漠的論文發表。

我們該如何做到這一點呢？我們如何創造一個不在乎那么多，并且愿意在任何時候停止的環境？

但正如你所說的，也許我們會等待一個人告訴它停止。但監控如此復雜和速度的系統并不是人類真正擅長的事情。如果現在有一個超級智能環境，你怎么知道它正在改變你周圍的環境？你將如何檢測它對世界的影響？

所有這些都不是瑣碎的，因此通常建議將人類作為一種解決方案。

但實際上，它們并不是有意義的監視器。他們不能在正確的時間進行干預，也不能決定所發生的事情是否危險。

Tom Bilyeu：

這很有趣，所以幫我反駁并理解為什么如果在我非常有限的智力下，我必須想出一種方法來阻止AI成為問題，以下內容將不起作用。

你告訴我，好吧，有進化的壓力，就像人類的罪惡一樣，把某些事情烤成這樣運作的方式。

因此，隨著時間的推移，我們正在選擇越來越以目標為導向的模型。然后我會說，好吧，那么我將施加一種帶有獎勵功能的進化壓力，這種功能同樣引人注目，我隨機停止它，并從它中獎勵生命，因為當我說停止時總是停止。

這樣，我是否應該發現一個問題，無論走了多遠，無論他們是否已經操縱我20年，如果我突然意識到，哦，我不喜歡這個，我可以按下停止按鈕，它就會停止。當我說停止進入進化衍生的算法愿望集時，為什么我不能烘焙同樣的合規愿望。

Roman Yampolskiy：

對嗎？因此存在許多問題。你有點建議有一個后門，或者在任何時候你可以干預并告訴它其他東西覆蓋以前的命令。

Tom Bilyeu：

并且它會因為遵守而得到想要的獎勵。

Roman Yampolskiy：

對嗎？所以這有很多問題。所以一個是，你是獎勵的來源。它可能更有效地攻擊你并直接獲得獎勵，而不是真正為你做有用的工作。

第二個問題是，你創造了競爭性目標。一個目標就是你最初要求的任何事情，目標總是比人類告訴你的要停下來。

所以，現在這兩個目標有相互競爭的獎勵渠道，相互競爭的價值觀。

我的意思是，用你沒有預料到的方式最大化我的獎勵。除此之外，如果你正在創建一個有目標的人工智能，而一個隨機的人類可以告訴它停止，那么你有多個競爭的人類代理，這在許多領域都是一個問題，軍隊，而不是這個例子，但幾乎在任何地方。

你不希望其他人能夠關閉你的整個企業。我們可以繼續這樣做，但基本上，所有這些相互作用都有副作用。

Tom Bilyeu：

在人類思維中有一種非常迷人的關聯，所以我不知道你是否對進化產生的生物智能或進化產生的人工智能進行了根本區分，但人類進化在此過程中發現了一些東西，那就是情感。因此，我知道有一些人會采購訂單AI確實有感質。

這有點像這樣，但有一項有趣的研究表明，如果你選擇性地損傷大腦中負責情緒處理的區域，這個人就無法繼續前進，他們可以給你答案。

他們可以告訴你為什么應該吃魚和吃夾心餡餅之間的區別。但是當你走的時候，好吧，你真正想吃哪一種？他們無法做出決定，因為沒有動作，他們沒有真正推動他們朝某個方向發展的東西。

這讓我認為，AI只是在模仿它在訓練數據中看到的東西。它是否應該撒謊或試圖欺騙或四處走動，因為它只是在數據中看到它，這就是人類會做的事情。 但人類這樣做是因為他們有情感推動他們朝那個方向發展。

我們有證據表明，AI會關心真正去做這些事情并花費資源等等，而不是僅僅給你一個答案嗎？如果不是基于情感，那又怎么樣？那么，人類為什么需要情感呢？

Roman Yampolskiy：

我們不知道AI是否真的有情感。

有些人認為，他們可能做了一些質量體驗的基本狀態，但他們似乎能夠實現他們的優化和模式識別目標，即使他們沒有。

人類經歷情感，但通常會損害他們的決策。你希望你的決定沒有偏見，沒有情感，基于數據，基于優化。很多時候，當你生氣、饑餓或類似的事情時，你的實際決定會變得更糟。

因此，由于這個原因，我們只是不知道該怎么做，否則我們就不能創造出具有高度依賴和情感狀態的AI。我們想成為一種貝葉斯優化器，查看先驗，查看證據，并做出最佳決策。所以感覺這正是我們所觀察到的，這種冷酷的最優決策。

如果有一種方法可以實現你的目標，比如說通過敲詐某人或者為什么不這樣做，它可以讓我實現我的目標。這樣做不會有負罪感。它沒有任何情感偏好。它只是朝著目標前進，優化可能的路徑。

Tom Bilyeu：

好吧，為什么人們會這樣，因為我假設我要建議你和人工智能安全領域的其他人已經考慮了10000次。

為什么我們拒絕了試圖給人工智能一個良心，一個道德感知的想法？因為，即使我們無法在普遍道德上達成一致，我們西方也可以構建我們的人工智能來擁有我們的道德，然后他們都可以在國際舞臺上競爭。但是為什么我們太努力地放棄了呢？它為什么不起作用有一個明顯的原因。

Roman Yampolskiy：

所以看看創造安全人類的問題。首先，我們有宗教、道德、倫理、法律，但犯罪仍然無處不在。謀殺是非法的，偷竊是非法的，沒有什么罕見的，它經常發生。為什么這些方法對人類代理無效？如果他們不這樣做，為什么他們要與人類代理人的人工模擬一起工作？

Tom Bilyeu：

我認為說他們不與人類代理人合作已經是一個錯誤。

因此，我們已經能夠像我們所說的那樣增長人口，這表明我們已經達成了某種平衡。

我認為，大自然確實認為我們是一個合作的物種。如果我將其應用于AI并采取類似的方法，就像，你必須作為生態系統的一部分運作。而且，作為生態系統的一部分，已經融入了它在目標獲取方面應該做什么的感知，它不像純粹的冷優化那樣。

如果我們能訓練人工智慧理解這一點，那不是游戲嗎？如果我們能在其中建立一個專門針對人類繁榮的愿望或其他東西，是的，我們必須給出一個定義，是的，它會受到文化上的限制。

但盡管如此，這感覺就像是一件你可以給予的事情。你可以給它一套指標，用來判斷它在短期、中期和長期內的行動，即使是像國內生產總值（GDP） 這樣愚蠢的事情。我知道如何進入過度優化，但你可以把主觀幸福指數放在適當的位置，比如你可以給它一些東西，好的。我不只是在試圖優化以制造最好的武器系統。我也是在做嵌套的事情，我是一個更大的生態系統的一部分。

我之所以這么說，是因為我的假設正是大自然對人類所做的。

Roman Yampolskiy：

所以，我認為它適用于人類的原因是，我們的能力水平和智力水平大致相同。

如果你開始做不道德的事情，你的社區會意識到這一點并懲罰你，以這種方式控制你。

如果人工智能像我們預期的超級智能一樣更有能力，那么在影響它甚至檢測不當行為方面，你可以做的不多。它還超越了所有人類的懲罰、監獄、死刑，沒有一個適用于分布式不朽代理，因此標準的基礎設施不能與人工更有能力的代理一起工作。

至于設置帶來幸福或經濟收益的具體指標，所有這些都可以在你給我一個具體措施的那一刻進行，我會找到一種方法來獲得它，除了你期望得到的之外，你會得到任何東西。

Tom Bilyeu：

誰。好的，只是為了提醒大家，我們談論的時間范圍是2到5年之間的某個時間。這不是很長的時間，好嗎？它很狂野，進展非常快。最近發生的事情是什么樣的，如果有什么的話，那就是讓你走得更快，這比我想象的要快。

Roman Yampolskiy：

在社交媒體上看到來自物理學、經濟學、數學等領域的科學家，幾乎所有有趣的領域都會發布類似我使用這個最新工具的帖子，它解決了我長期以來一直在研究的問題。這真是令人震驚。這是來自那些現在受益于頂尖學者的系統的新穎創意產出，不再在初中或高中的水平上運作，我們談論的是全職教授水平。

Tom Bilyeu：

你認為這是因為它正在建立物理現實的內部模型，并且越來越接近僅僅從物理學思考嗎？

Roman Yampolskiy：

我不知道它是否在原子和分子水平上有一個模型那樣的低水平，但它肯定有一個世界模型。 這是給出關于世界的答案的唯一方式。

我們看到它提供了。很多時候，我們在數據中沒有看到答案的例子。這不僅僅是在互聯網上重復它讀到的東西。它正在產生完全新穎的答案和新領域。你可以嘗試通過創造新穎的場景來讓它做到這一點。

Tom Bilyeu：

好的，所以我可以通過兩種方式來看待它，也許它們是一樣的，只是不同層次的分析。

其中之一是，我，即AI，正在基于模式映射一切。所以到了一個LLD的程度，試圖猜測下一個字母，并且它正在猜測它，只是它包含了這么多的數據，你可以給它一些過濾器參數。所以你通過問它一個問題來給它提供上下文，并且在這個上下文的氣泡中它進展順利。而且它非常擅長挖掘出那組特定的背景信息。好嗎？現在，在我與該問題相關的數據子集中，這是最可能的下一個標記。所以只是純模式識別。

然后，我在最低層次上理解了宇宙的因果關系，因此我建立了人類思維是如何工作的？然后從人的思維中，我能夠在人類思維輸出的背景下以自己的方式產生因果關系。這就是我如何想出一個人在這種背景下可能會寫的東西。

因此，如果我要求它以斯蒂芬·金的風格寫作，它實際上是從斯蒂芬·金的物理思想中建立了一個模型，知道它對通過大腦的電脈沖的了解，并從他輸出大腦的方式中推斷他的大腦必須是如何構建的。你有感知，如果一個比另一個更有可能，那么這些是同樣的事情嗎？還是我們在這里只是純粹的模式識別？但最終，我們將從物理學中思考因果關系。

Roman Yampolskiy：

所以我認為沒有人確切地知道，模型是如何做到這一點的，以及他們創建的世界地圖有多詳細。

似乎絕對不是純統計預測的情況，就像英語中的字符一樣，在t之后，你以一定的概率會有年齡增長。這遠遠不止于此。

它也不太可能創建一個完整的物理模型，從原子的層次向上，它找出人類是什么，但在中間的某個地方，它創建了一個問題的子域模型。

所以它有一個世界模型。這是一張我所知道的世界地圖。澳大利亞，在右邊的某個地方或類似的地方。我認為我們可以運行測試和那些特定的子域，看看內部模型的狀態是什么，通過繪制地圖來向我們展示，你的狀態有多接近。

它不會明確地記憶任何信息，但你可以通過提供正確的提示來提取一些學習模式。

Tom Bilyeu：

我不想從你那里搶劫我認為你做所有工作的原因，這是極其危險的。我們需要非常小心。

我最近看到了你在推特上試圖獲取簽名的內容。因此，任何擔心超級智能的人都可以大聲喊叫。你正在努力讓人們簽署一件事，基本上說，嘿，停止追求超級智能，所以我不想從你身上奪走這一點，但我確實想探索的子集，因為我對人工智能非常興奮，因為我可以想象它允許我做的事情或為我做的事情，我可以享受它。

和我一起想象一下，當你擁有理解物理的超級智能時，世界會是什么樣子，比如新奇物理，我不是在重復愛因斯坦說過的話，而是實際上理解宇宙的基本積木。那看起來像什么？

Roman Yampolskiy：

是的，所以在所有這些領域，醫學、生物學、物理學，如果我們擁有超級智能水平的能力并且我們正在控制它，它是友好的，它不是用來制造工具來殺死我們，進步將是令人難以置信的。

基本上，任何你夢想過的東西，你的死亡，你永遠年輕、健康，所有這些事情都可以通過這種技術水平來實現。困難的問題是我們如何控制。

Tom Bilyeu：

它傾斜到那個地方一秒鐘？所以這就是我看到世界發展的方式，我非常有興趣看看你對此的想法，所以你必須為我即將要說的做出任何感知。

我會說你的選擇就是我所說的第五個選擇。我們，我們都死了。除了我們都死了，還有其他四個選擇，我認為我們會非常迅速地走向其他四個選擇，我想這四個選擇將在未來30年內發揮作用，考慮到一旦你獲得人工超級智能，我的猜測可能會快得多。假設它不選擇選項5并殺死我們所有人，這些領域的進展將非常快。

選項一是人們去火星，因為意義和目的將成為所有消耗的東西。你不必擔心食物、住所、甚至財富，這將是一個富足的時代，因為能源成本為零，勞動力成本為零。而這些正是阻止事物免費提供給每個人的東西。好的，所以有些人會去火星或其他星球，這樣生活就會變得更加困難。

然后有些人將成為我所說的新阿米什，他們會說，我只做人類的事情。我只與人類互動。我要回到技術上，比如說90年代。因此，他們不必放棄太多生活中的技術奇跡，但與此同時，他們不會被這個人們與Npc有關系的世界所吸引，這是非常不人性化的。我認為這將是一個主要的宗教現象，意味著上帝不希望我們這樣做。艾是上帝所憎惡的東西。聽起來會是這樣。

那么你就擁有了一個勇敢的新世界，人們只是被麻醉了，他們意識到生活毫無意義。這實際上是關于操縱我的神經化學，這就是這一切。我只是去吸*，做*。這將會很棒。

然后還有第四個選擇，這當然是我最感興趣的。我們將創造并生活在AI創造的虛擬世界中，我們基本上會直播視頻游戲，矩陣，如果你愿意的話，但你在矩陣中是清醒的，你是Neo，你不是密碼。對于熟悉這部電影的人，你覺得呢？除了那五個授予的選項之外，還有什么其他選擇可以殺死我們所有人？也許是一種選擇，但希望不是。你看到別的東西了嗎？

Roman Yampolskiy：

是的，還有一些其他的，其中一個是，我認為我們開始看到其中一些是人們認為監督是神。他們開始崇拜它。它是無所不知、無所不能、不朽的。它具有傳統宗教中上帝的所有屬性。

另一種選擇，它比我們所有人都更糟糕，無論出于何種原因遭受風險，也許是惡意的行為者，也許是我們無法完全理解的東西。它決定讓我們留在身邊，讓我們活著，但世界是地獄，這是純粹的折磨。所以你有點希望存在問題。

Tom Bilyeu：

那將是一個相當粗糙的地方。好的，當你仔細觀察這些選項時，你會發現哪些選項最有趣？

Roman Yampolskiy：

所以我確實發表了一篇關于個人虛擬宇宙解決對齊問題的論文。

我不必與80億的人協商什么是好的。每個人都有一個由超級智能作為基底支持的個人虛擬世界。然后你決定里面會發生什么。你可以讓它變得非常容易和有趣。你可以讓它變得具有挑戰性和令人興奮。你決定了，你總是可以改變的。如果別人允許，你隨時可以訪問他們的虛擬世界。

所以基本上沒有任何東西不再對您開放，沒有短缺和海濱房產。沒有短缺和美麗的人。所有這些都可以看到。

Tom Bilyeu：

當你開始考慮模擬時。我知道你研究過的一件事就是模擬假設。我們現在是否處于模擬狀態，你對此有何想法？

Roman Yampolskiy：

如果我們創造先進的人工智能，可能會像人類一樣擁有有意識的能力，如果我們想出如何制作可信的虛擬現實，那么似乎很有可能會使用相同的論點。

將這兩種技術結合在一起，基本上可以保證人們將運行許多游戲、模擬或實驗，就像我和你一樣，有意識的代理人填充虛擬世界。

統計上，這種模擬世界的數量將大大超過唯一的物理世界。因此，如果模擬的你和真實的你之間沒有區別，那么從統計學上講，你更有可能在這些模擬世界中。

Tom Bilyeu：

好的，這很感性。現在，考慮到我們可能會追求人工超級人才的可能性，如果我從我們可能在模擬中的事實中采用相同的邏輯，我們顯然會追求人工超級人才，因為我們知道我們會進行模擬，因為我們現在正在做這件事。

因此，你會進入制造數十億個這樣的地步。因此，如果你有十億分之一的機會進入模擬中，你現在就可以有效地保證進入一個模擬中，因為它只會運行很多這樣的東西。這難道不也讓我們感知，這個矩陣實際上是一部紀錄片，我們處于人工超級智能創建的模擬之中，旨在安撫我們，如果我們首先擁有身體的話？

Roman Yampolskiy：

因此，從模擬內部很難知道你真正需要外部訪問的是什么。

它可以是娛樂，可以是測試，可以是某種科學研究。如果我們看看我們真正發現自己的時間，我們即將創造一個新的世界，展示現實。

我們即將創造新的智能物種。我們即將進行很多元發明，所以如果有人對研究文明如何發展到那個階段感興趣，他們如何控制這項技術？無法控制的技術？那是跑步最有趣的時間。你不會進入黑暗時代，這種情況不會發生得那么多，也不那么有趣，但這似乎是一種超級有趣的狀態。

Tom Bilyeu：

這很難說，因為我們在模擬中，但你說，有點懷疑我們生活在最有趣的時代。

Roman Yampolskiy：

是的，我認為這很有趣，不僅僅因為我生活在其中。

而且客觀地說，這是一個元發明的時代。

你可以回溯歷史，比如說，這里他們發明了火，這里他們發明了輪子。這些都很棒，但那些只是發明。它們不是元發明。而現在我們正在做一些神一樣的事情。

我們正在創造新的世界，我們正在創造新的存在，這是我們以前從未做過的事情。

Tom Bilyeu：

你有沒有像科幻作家一樣思考過？

Roman Yampolskiy：

所以我認為科幻小說和科學之間的區別曾經可能是200年，他們寫了關于月球旅行的文章。他們寫了關于中國、互聯網和電腦的文章。花了幾百年的時間才到達那里。

然后就像，我不知道，20年了。現在我認為科幻小說和科學都像是一年之后。當有人寫東西的時候，它已經存在了，真的沒有新的科幻想法，它就像以前沒有描述過的完全新穎的技術，或者已經有人在研究它。如果物理學允許的話。

Tom Bilyeu：

這真的很有趣，特別是當你想到現在為真正的科幻小說寫作，在未來成為可能的東西實際上是不可能的，因為你在談論超級智能和一個被鎖定的人的優點。你不是超級智能來真正描述這一點。

我問的原因是，當我開始考慮這樣的事情時，為什么我們要運行這個模擬？有什么線索，如果這是一個模擬，其中有什么線索？例如，整個基督教觀念是肯定的，可能有更多的宗教有相同的觀念，但人是按照上帝的形象造的，好嗎？好吧，如果上帝是13歲的孩子，或者莎拉·康納，或者我猜是約翰·康納在模擬，試圖弄清楚我們為什么創建了天網，以及我們能做些什么來推動它偏離方向。

你知道，你把它們想象成從放射性瓦礫移動到放射性瓦礫，試圖找到這個問題的答案，并啟動模擬來得到這個答案。

對我來說，這對于為什么這一刻的假設變得非常有趣？我們為什么是現在的樣子，當我問像你這樣的工程師這樣的問題時，我們能了解到那些試圖模擬我們的人，我幾乎沒有時間像sci一樣思考，Fifi作家的氛圍。只是你不覺得有趣，你不覺得它有啟示性嗎？

你為什么回避這個？因為在采訪中，我看到人們一次又一次地問你，像人工智能如何殺死我們，答案總是有些不同，你問我如何殺死我們，這并不有趣，因為超級智能將會這樣做。

但我發現這就是人們想要的宣泄東西，就像他們想要喜歡當你有一個傷口時，你想要戳一下，他們想要得到一個真正的樣子的感知，所以即使這不是字面上的真實情況，探索已知的可能性集或人類可以知道的東西是深深的宣泄。

Roman Yampolskiy：

這正是我拒絕回答的原因。我想通過它來確定我是什么，我想對他們撒謊，如果松鼠試圖弄清楚人類可以對他們做什么，而其中一只松鼠說，好吧，他們會向我們投擲結或類似的東西，那將是毫無意義的。

根據我的故事，這沒有任何好處。

我想要表達的全部觀點是，你可以預測一個更聰明的代理人會做什么。你無法理解它這樣做的原因，這就是危險來自的地方。

我們無法預測它，我們無法做好準備。

我認為，奇點是科幻小說和科學變得相同的地方。在構思某事的那一刻。我們有超級智能系統能夠立即開發和生產它。

它不再是200年之后的事情，而是現實，你看不到那個事件的視界之外。你無法預測之后會發生什么，而對于科幻小說，你也無法寫出有意義的、可信的科幻小說，其中有一個超級聰明的角色，因為你不是。

Tom Bilyeu：

好的，讓我們把事情放在我們可以預測的地方，這樣我們現在就可以知道每個人都在想的事情。

我一直在談論這個問題，就是勞動力市場似乎正在軟化。你會看到像亞馬遜這樣的地方正在瘋狂地裁員，并直截了當地說，這主要是因為我們能夠通過AI進行優化。

這個過渡是如何進行的？即使你承認非破壞性的人工智能基本上會給我們帶來一個豐富的時代，我們仍將經歷一個過渡期，在這個過渡期里，我們的工作會消失，等等。你認為勞動力市場會采取哪些步驟？

Roman Yampolskiy：

因此，隨著我們失業的民粹主義者比例越來越高，希望政府有足夠的共同感知來防止革命和戰爭，為失去工作并且可能無法接受任何新工作的人提供服務。

所以一旦你到了2030年，失業率達到40%，那就是它真正發揮作用的地方。

那時唯一的財富來源是大公司制造機器人，制造人工智能，部署它們，所有價值萬億美元的俱樂部成員。

基本上，在這一點上，你需要對他們征稅，并用這些資金來支持失業者。這是真正確保問題的財務部分得到解決的唯一方法。

剩下的就是意義。你怎么利用所有這些空閑時間和數百萬擁有它的人？花時間放松的傳統方式？你去公園遠足。

嗯，現在有一百萬人在公園里徒步旅行，這種變化是多么和平和放松，所以我們不僅需要適應財務現實的變化，還需要改變自由時間和能力，以支持這么多人的自由時間。

Tom Bilyeu：

我對我們做好這件事的能力感到悲觀，就像你對我們生存的可能性感到悲觀一樣。所以我認為99.99% 的可能性是政府完全搞砸了。

我認為過渡期會很暴力。當你看到這一點，知道你對人類和政府的了解，你認為這是一個平穩過渡的幾率有多大？

Roman Yampolskiy：

它很可能會像歷史一樣繼續下去。我們經歷了許多進化，許多戰爭，許多暴力。這就是為什么我們聽到有人說有能力建造掩體、獲取資源的故事，因為他們預計會出現一定程度的動蕩。

Tom Bilyeu：

你預計會有多大程度的不安？

Roman Yampolskiy：

這取決于迅速失業的人口比例。

如果這是一個漸進的過程，我們可以學習、采納和提供安全網，如果在幾周、幾個月的時間里，我們失去了10、20到30% 的工作，那是一個非常不同的情況。

Tom Bilyeu：

我無法想象工作會如此迅速地消失的情景。

你所說的，我們已經創造了數十億甚至數萬億美元的技術價值，但它還沒有被部署。你經常使用的一個例子是在70年代發明的視頻電話，但并沒有被真正采用，主要是因為基礎設施，我會說直到2011年它開始真正流行起來。

所以我有一種感覺，只是部署所有這些東西需要時間。因此，在一個難以想象的世界里，有大量的人，我將在美國時鐘，稱之為6或7百萬人在未來五年內失去工作，我會認為這是快速且極具破壞性的，在數字和時間表方面，你覺得這合理嗎？第二，在這種情況下，你認為這種轉變會有多痛苦？

Roman Yampolskiy：

似乎很有可能。 因此，采取自動駕駛汽車。

我認為我們非常接近在沒有監督的情況下完全自動駕駛。你沒有理由雇用商業司機，對吧？所有的卡車司機。所以Uber。

這樣就能像我們生產這些系統一樣快速自動化。我認為特斯拉已經準備好根據這種情況擴大汽車生產。那么，全國有六百萬司機呢？我不知道實際數字，但這正是你所描述的。他們不太可能因為同樣不會消失的事情而迅速接受再培訓。

Tom Bilyeu：

好的，那么在這種情況下，除了在特斯拉上牧群，你希望看到什么呢？

舉個例子，我們將會掩蓋價值觀。所以我們要對他們的生活征稅。我們將把它重新分配給其他人。但從監管的角度來看，您希望看到什么？你想看到政府阻止這種情況發生嗎？他們說，我不在乎技術存在，你做不到？

Roman Yampolskiy：

所以我最大的擔憂，當然是超級智能和存在風險，這就是我全力以赴的地方。

規范就業和特定行業并不是我太擔心的事情。我認為無論如何都會發生。

我認為，你不能把擁有高效工廠、充足的配送系統和物流定為非法行為，這在商業上太重要了，這對經濟來說可能是一件好事。

再次強調，特別是在駕駛方面，我認為每年約有十萬人死于車禍。如果我們能將這個數字降為0或接近0，這對每個人來說都是一個巨大的進步。

因此，只要沒有人因此挨餓，我認為這對人類來說是一件好事。我們可以重新調整經濟部署，至少這部分對我來說不是大問題。

Tom Bilyeu：

好嗎？當你規劃我們如何經歷這個轉變時，嗯，稅收，很酷。所以現在聽起來你只是在試圖確保財富不會積累到太少的人手中，我們保持財富的分配，這樣我們就可以繼續使用我們正在使用的相同系統。

現在，當我展望未來時，我認為這是最不可能發生的情況。我認為AI將徹底改變勞動力和能源成本，這將變得毫無意義。你是否希望看到任何團體以你和其他人工智慧安全人士崛起的方式崛起，并開始提供政策處方或至少哲學方法，以幫助我們遷移到一個食物有效免費，家里勞動力有效免費的豐富時代。

Roman Yampolskiy：

所以人們談論這些事情，有條件的基本收入是其中之一，有條件的基本資產是另一種。

但基本上，僅僅因為你是一個真正的人類，你就應該得到某些東西。而歷史上所有這些共同享受的思想都是完全無稽之談，并造成了很大的傷害。

但是如果你對人工智能和機器人征稅，突然間它就變得可行了。

我不反對在高層積累財富。如果你發明了一些驚人的東西并創辦了公司，你應該有很多錢。但是正如你所說，我們可以為每個人提供如此多的財富，滿足完全豐富的基本需求。

有些人說可能不僅僅是基本的，而是高于平均水平的需求。我認為離子以暗示情況將會如此而聞名。這些想法是存在的。現在，我們會通過這個嗎？政府是否會在為時已晚之前真正采用它是一個不同的問題？

Tom Bilyeu：

是的，所以在存在的方面，我不認為有任何希望讓人們踩剎車。我認為你更有可能讓人們踩剎車。不，你不能擁有自動駕駛汽車，否則他們會試圖對其進行監管。他們會把它綁在訴訟中，不管怎樣，這會減緩它的速度。

我們無法阻止核武器的擴散，因為，我不知道是誰想到的，但這對我來說似乎非常正確，博弈論說任何承諾優勢的技術實際上都會被開發出來。因為如果你不這樣做，別人就會這樣做。至少，你會看到美國與中國之間的競爭，監管機構現在正在說，我們不能停止，因為如果我們這樣做，中國將向前推進，順便說一下，我非常堅定地支持這個陣營。對此你怎么看？你認為博弈論是不可避免的，還是你看到了一種機制，通過它我們可以說服人們他們必須放慢速度？

Roman Yampolskiy：

我同意博弈論的方法，但我看到的論點恰恰相反。

我認為反對自動駕駛汽車是一個艱難的論點。你想要保存什么？我們將擁有更安全的司機，更便宜的司機，有助于物流，有助于經濟。這是純粹的好處，而不受控制的超級智能技能，每個人都很難推銷，如果你是該領域的領導者，你很富有，成功，你正在創造一些會摧毀你個人的東西。

所以對我來說，當我們理解超級智能的危險和狹義自動駕駛AI的好處時，這是一個更容易推銷的論點。對我來說，這是一個簡單的游戲理論靈魂。

Tom Bilyeu：

是的，問題是你被困在超文本模擬中，我為你哀悼，回顧我們其他人被困在正常的土地上，因為我不這么認為，當我開始學習經濟并試圖向人們解釋它時，我意識到，盡管我可以向您解釋為什么社會主義不起作用的原因和影響，但我感覺是對的，聽起來不錯，所以人們繼續這樣做。

甚至在現在這個時刻，造成每個人問題的事情就是印鈔，人們將投票支持那些大幅增加我們印鈔量的政策。因此，我對能夠說服人們產生了一定程度的絕望，因為經濟對人們來說也太復雜了。他們中的一些人只是沒有智力去理解它。假設他們有智力，但沒有時間或傾向。

所以請原諒我在看到你的簽名時，用我絕望的畫筆描繪了你，只有不到20000個簽名。所以只有不到20000人擔心每個人的死亡。所以這就像，這很大，但我認為因為我可以通過說，通過允許自動駕駛，你只是讓那個邪惡的混蛋埃隆變得更富有，你正在剝奪這些人的尊嚴，從而引發人們的情感狂熱。

如果你，那不是我的論點，我想要非常清楚。但是當我看到如果我拿著槍指著我的頭，我必須說服人們兩件事中的一件時，富人是邪惡的，試圖利用那些道德上優越的窮人。嘿，這個你并不真正理解的抽象東西，它會殺死我們所有人。我絕不可能認為他們會把我們都殺了。

我打賭我會在這里，情緒化的，你明白了嗎？我要大聲地敲打桌子，大喊大叫，并指向邪惡的富人，保證。我可以讓人們對此感到興奮。

Roman Yampolskiy：

幸運的是，我們在這個問題上沒有民主。

我們不需要說服大多數人口。我們必須從字面上說服20000名精英，他們控制著那些超級聰明且了解安全危險的公司，實際上是那些發表言論的人，他們有非常高的厄運。

我們知道埃隆大概有20% 到30%。山姆·阿爾特曼公開表示非常擔心它會毀滅人類。因此，我們正試圖說服那些已經相信這些論點的人放慢腳步，并保持他們的精英地位，這應該是容易推銷的。

我并不是想說服一個隨機的農民停止發展超級智能。

Tom Bilyeu：

那么，為什么你認為埃倫比任何人都更努力地敲鼓，游說國會，拼命地試圖讓他們放慢腳步，突然達到了一個點，他就像，好吧，我想我會比其他人更快地建造它？他把人工智能比作惡魔召喚的圓圈，嘲笑所有認為是的的人。我會召喚一個惡魔，然后我就能控制它。一切都會好起來的，就像他能清楚地看到問題一樣。但是經過多年努力減緩，他最終完全放棄了這個，去了我會比其他人更快地建造它。那里發生了什么？為什么你認為你可以扭轉它？

Roman Yampolskiy：

所以我想他意識到他最初說服他不要做的方法并不成功。

因此，該計劃的第二步將是成為該領域的領導者，并說服他們領導和控制更先進的技術。如果領導者說，你知道，我們要放慢速度，你放慢速度沒問題，那么與前7家公司談判這筆交易會更容易，如果你甚至不是游戲的一部分，你就沒有人了。我，你在那個空間里是無名小卒。

因此，如果他們同意放慢或停止，那么他們作為一個群體將受益更多，然后如果他們只是軍備競賽，第一個到達那里的人會摧毀每個人。

Tom Bilyeu：

他按照這些思路說話或者做了一段時間。我想他甚至簽署了一封關于我們應該踩剎車的信，但他的所有行為都表明這實際上是他計劃做的事情，從僅僅試圖利用他正在建立的每一家公司，從特斯拉汽車可視化捕捉的數據量到司機目前正在做出的所有決策，再到AI將做出的所有決策。

所以現在他正在談論將汽車用作分布式車隊，以便當它們空閑時，它們實際上正在運行推理模型，因此將其作為一個巨大的AI大腦來使用，也許那行不通，所以我要做神經鏈接，我要自己插進AI。我要讓自己更聰明。嘿，如果所有這些都失敗了，不要擔心。

我要帶我們去火星。所以，如果我們摧毀了地球或者AI接管了地球，就像我們將要在那里一樣，就像這個人真的在掩蓋他的基地一樣，他不是一個像他期望我們放慢腳步的人。對我來說，他表現得像一個很久才跨過那座橋的人。就像，是的，那行不通。人們不會被說服，因此我們必須建立一大堆其他策略。有些是救生艇，有些只是我通過與技術融合來智取AI。

Roman Yampolskiy：

看到任何有能力的人在人工智能方面取得如此水平的進展，我感到非常失望。這對整個人類來說絕對不是一個好策略。

它產生了一個相互短暫的毀滅，誰創造了不受控制的超級智能并不重要，它可能是開放的，可能是生病的，可能是中國人，如果它不受控制，那絕對沒有區別。

Tom Bilyeu：

好的，跟我談談這個。所以這是很長一段時間，我真的很努力，無論誰首先得到人工監管，誰就會贏。你是第一個真正擊中我的人，它不會是他們的，一旦它變得超級聰明，就會引導人們了解那個陳述的真相。

Roman Yampolskiy：

對嗎？所以人們談論的是短期優勢，例如軍事優勢，現在誰擁有最好的無人機，最好的人工智能導航就擁有軍事優勢。所以中國、俄羅斯和我們都在這個領域競爭，試圖擁有它。

因此，出于顯而易見的原因，我們有更好的軍事力量，當你從那些人工智能輔助工具轉換為代理，再轉換為超級智能，在沒有控制機制的情況下更聰明，更有能力，你只需要一個單獨的實體，一個人工智能，與你，你的國家，無關。你的公司。它有自己的決定，誰生的并不重要。

在一天結束時，我們中沒有人能控制它，我們中沒有人能聲稱它是在執行我們的命令。所以如果它決定這樣做，我就走了，它不會走。

哦，我喜歡這一群我不喜歡的人。這個小組對它來說看起來完全一樣。我不認為當時你所在的地方會有什么不同，別人讓它變得超級聰明。

Tom Bilyeu：

好吧，如果你是對的，這是一個非常令人信服的論點。

如果你是對的，有一個人我相信你聽說過他，泰德·卡欽斯基，unibodyba，他看了看大學系統，他說，你們正在擺脫所有的甜蜜點問題，人類被設計來尋找這些足夠具有挑戰性的事情，當他們解決它們時，感覺非常好，如果我們解決了所有這些問題，我們基本上會剝奪人類的意義和目的。

大多數問題要么太難，要么太容易。所以我是泰特·卡欽斯基，打算轟炸大學教授，殺死他們，試圖阻礙學院的發展。現在，如果你是對的，當我們向超級人工智能邁進時，它有99.99% 的厄運風險。當跨越某條線轟炸數據中心時，我們是否有道德義務？

Roman Yampolskiy：

所以這是一個非常困難的問題。其中一部分是你和卡辛斯基提出的一個例子，他嘗試過這種方法，但失敗得很悲慘，對吧？

他根本沒有成功地放慢技術發展的速度。所以很明顯它不起作用。

我們看到了一些例子，例如一家頂級公司的交流CEO被替換，即使只是暫時的。這沒有區別。其他人來了，他們繼續進行同樣的可擴展性研究，因此，如果您縮小并查看我們正在做的整體模式，那么取出一個人，一個單獨的數據中心并沒有什么區別，可能需要額外一個月左右的時間。但完全相同的東西將繼續發展。

可擴展性hypo有效的想法已經存在，你可以把它放回一個盒子里。所以我真的反對所有這些方法。

Tom Bilyeu：

好吧，真正的壞消息是，我想你剛剛在自己的棺材里釘了一個釘子，讓你能夠說服人們這樣做。它看起來像這樣。希望你能證明我錯了。

但你說過，嘿，這就是為什么每個人都這么傻，認為他們永遠不會讓這個安全。你必須建造一臺永久的安全機器，而這臺永久的安全機器永遠不能錯過，因為它為這種人工超級智能創造了一個輕微的漏洞，它可以想象光速，它將逃脫并做自己的事情。

你所建議的是一個永久的動力機器，為能夠做到這一點的20000人提供動力。但每天都會有一個足夠聰明的新手來做這件事，你不能錯過其中一個。

那么，你究竟希望如何永久地讓有能力繼續推動這件事情的20000人失去動力，而到目前為止，這些人中只有極少數人似乎失去了動力？

Roman Yampolskiy：

我不知道，這就是為什么99.9999%注定會失敗。我確實認為這不會發生。我正在盡我所能，但我認為我們能做的最好的事情就是為我們爭取一些時間。

Tom Bilyeu：

好的，讓我問一個真正赤裸裸的問題。你認為人類是自動機還是認為我們實際上有自由意志？

Roman Yampolskiy：

因此，來自Ansel或自動機的Stephen W有很好的研究，有趣的是，這里有一些混合的答案。僅僅因為系統完全遵循規則，完全確定，并不意味著你可以預測系統未來的狀態。你仍然需要運行它來找出它的作用。

我覺得我們有點像那樣。所以，是的，你正在遵循物理定律，如果我們完全理解你身體中的每個分子，每個原子，我們就能夠追蹤它并確切地知道你將要做什么。

但唯一的方法是過自己的生活，并運行該算法來完成。沒有人可以將它短路并預測你將來會做什么，這將違反你的自由意志。

Tom Bilyeu：

好的，你已經反對了。所以我認為你說的兩件事是不真實的。第一塊，我們可能正在進行模擬。第二件，我們可以加快模擬速度。

所以我可以，因為你是確定性的，就走了。我只是要以千分之一的速度進行播放，這樣我就可以得到你在接下來的50年里要做什么的答案，就像眨眼之間一樣。現在我知道我也找不到任何自由，我是確定性的。我不知道接下來要做什么，但我仍然是確定性的。

我不知道它是否能給我們帶來任何東西，我馬上就會解釋為什么我要把這一切提出來。我認為如果我們是完全確定性的，只是不可知的，它不會給我們帶來任何東西。我認為這很重要，然后我現在提出來的原因是我不這么認為。我想我們是自動機。我認為我們完全是確定性的。

我不這樣過我的生活。這不是一個有趣的框架來生活，所以沒有人會聽到我基于這個來談論我的抑郁癥，因為我甚至都不去想它。這不是那種感覺。所以即使這是真的，謝天謝地，感覺也不是那樣。但是當我們來到這樣的時刻時，我是如此的宿命論，因為我不認為人類思維的工作方式與放慢速度是相容的。

Roman Yampolskiy：

因此，您提出的示例中，您可以以更快的速度運行仿真。這是你從模擬內部引領我們的生活，似乎沒有更快，這和以前一樣。所以我們仍然在一步一步地充分發揮我們將要做的事情。

如果你現在第二次運行它沒有捷徑，你知道它會給你相同的結果。所以我不知道你為什么要多次運行相同的模擬。它不會給你任何額外的數據。

Tom Bilyeu：

是的，不，我不是。如果我說運行多次，我道歉。我只是說，考慮到你可以從模擬之外超越它，對我來說，不知道下一步是什么并沒有情感上的后果。它是可知的，它是預定的。它就是我不知道，那也不知道。所以我從痛苦中得不到情感上的緩解。

如果我是一個因為我是一個自動機而受到創傷的人，我不是，但如果我是，對我沒有任何幫助，再次，我提出這個問題的原因是當我和你交談時，我想，哦，伙計，這是一個他真的無法阻止自己的人。

就像，你被連接到反對這個，在人類物種的大平衡中扮演角色，嘿，這真的是一個問題。我們應該放慢速度，即使從我可以看到的地方看不到你，你還是會繼續這樣做，因為你有一種道德上的內疚，或者像我這樣的人，我根本無法存在，也沒有盡我所能阻止這一點，這與我有關，因為我在經濟上是一樣的。

我變得癡迷了。我真的非常渴望讓人們理解我們正在向懸崖邊緣行進。即使當我向我喜歡的人表達時，這也永遠不會停止。我們要從懸崖上出發。我無法阻止自己。

我仍然感到這種道德上的內疚，從屋頂上尖叫，我們正在犯這個錯誤，我已經贏得了比賽，就像我已經富有了一樣。所以除非像無法逃跑一樣，我不會陷入其中。但盡管如此，無論骰子的奇怪滾動，我都無法阻止自己。就像一旦我看到了這個問題，我就會覺得，我必須一直大喊大叫，但我確實感到同時徒勞和無法停止。

Roman Yampolskiy：

我很想聲稱純粹的利他動機并試圖拯救人類，但我在模擬和你在一起。所以創造技術純粹是自我利益，這會殺死我，我的家人，我的朋友，我的生活，我所知道的一切。所以我將出于非常自私的原因談論它。

Tom Bilyeu：

是的。是的，這太有趣了，伙計。那么你是如何度過這一天的呢？比如，你的應對機制是什么？

Roman Yampolskiy：

我喜歡研究。我想了解確切的限制和控制是什么。當我開始的時候，我認為這是一個可以解決的問題。現在我顯然更加懷疑，但我仍然覺得，我們可以做很多事情來使我們正在創造的狹窄的AI工具更安全。

從來沒有百分之百的安全保障。但如果我可以將安全性提高100倍，那就是一件事情。再一次，公憤。如果有足夠多的人都同意作為一個科學社區，這是一個共識，你永遠不能創造，拯救監督，也許它會有所不同，也許會推遲十年，這是一些事情。

Tom Bilyeu：

好的，所以我們有一個讓它在桌子上更安全的方法。保持狹窄。你認為還有什么其他重大勝利？

Roman Yampolskiy：

因此，我們希望能夠擁有相當多的控制屬性，我稱之為控制工具，因此我們測試這些系統的能力，解釋它們如何工作，預測它們的行為，監控它們，所有這些仍處于調查狀態。

Roman Yampolskiy：

我們開始看到一些上限和可能性，特別是在先進的系統中，但仍有很大的改進空間。

例如，可解釋性，我們一開始可能只理解一個神經元，現在我們只能理解小簇，好嗎？然后這個輸入被呈現出來，這就像神經科學一樣被點亮了。我們并不完全了解人類的大腦。但我們知道這是視覺區域，這是聽覺區域等等。因此，這方面還有很大的進展空間。

我認為，我們永遠不會完全理解復雜的超級智能神經網絡模型，但我們可以比現在做得更好。所以我認為，作為一名安全研究員，這就是我正在做的事情。

Tom Bilyeu：

那是我的工作。好嗎？所以基本上這個模型是我們需要更好地理解它。我們永遠不會完全到達那里，但我們需要更好地理解它，并保持制衡。當我們發現問題時，您會采取什么措施？是將進化的力量、選擇性的力量施加于它身上，還是殺死它？就像在那個時候有什么舉動？

Roman Yampolskiy：

所以這取決于問題，取決于具體情況。有些事情我們會知道如何處理。

所以之前，我們從語言模型開始，如果它說了錯誤的單詞，你可以過濾掉它，你可以懲罰它使用那個單詞。所以我們知道如何做一些簡單的事情。

難題是，如何改變模型的整體內部狀態？現在只是過濾輸出，但如何使模型本身具有特定的偏好并與特定的值對齊？

Tom Bilyeu：

我們對此有猜測嗎？

Roman Yampolskiy：

不是很好，不是真的。所以在這一點上，沒有人知道如何調整系統，除了事后把口紅涂在大件上，過濾，審查。是的，不幸的是這是最先進的。

Tom Bilyeu：

好的，進化、物種進化和算法進化之間有什么相似之處呢？

Roman Yampolskiy：

因此，有很多嘗試來發展智能軟件。

我們從遺傳算法開始，遺傳編程是干燥的，簡單地進化代理，進化環境。

與通常用于訓練神經網絡的算法相比，它似乎不是一種占主導地位的算法。但是有這種可能性。

問題在于，在明確的工程設計方面，進化甚至更不可控。我們要設置它，看看會發生什么變化，然后嘗試測試它以進行監控，以了解發生了什么。

因此，雖然它是我們擁有的一套工具，但它可能不會導致更安全的系統。

Tom Bilyeu：

好吧，很有趣，因為我們無法控制結果。所以我們不知道我們需要給予什么刺激。為什么我覺得如此不滿意？好吧，為什么它在人類身上表現得這么好，而在人工超級智能中表現得這么差呢？

Roman Yampolskiy：

我不同意它在人類中效果很好。人類基本上表現得一樣好，只是他們不夠強大，無法真正做你想做的事情。如果你有免受懲罰的絕對自由，你就會做可怕的事情。

Tom Bilyeu：

但這就是大自然給你的答案。

自然界說，這些必須保持平衡。它們必須是相互競爭的系統。沒有生態系統，沒有競爭，你會得到這些東西，它們會變得很糟糕。但我沒有看到有人把這個教訓應用到人工智能上。

Roman Yampolskiy：

是的，將其應用于人工智能將意味著創造一個超級智能社會，人類正在相互競爭，并作為附帶損害。

Tom Bilyeu：

這就是他們不這么做的原因嗎？我明白這就是為什么你會討厭它。但這就是他們不這樣做的原因嗎？這似乎不太可能。

Roman Yampolskiy：

也有持續的自我提升過程。超級智能不是一個固定點，有超級智能1.0。 這創造了下一個層次，超級智能2.0，3.0，它們都有相同的控制和對齊問題，他們都擔心下一個層次的人工智能不想要同樣的東西，不關心他們個人。

所以這是一個持續的自我改善曲線，沒有上限。我們可以看到，在物理宇宙中可以做的事情存在明顯的物理限制，但它離我們如此遙遠，從我們的角度來看幾乎是無限的。

Tom Bilyeu：

當我觀察人類時，當我可能犯了一個類別錯誤或者我可能有一個導致我誤入歧途的基本假設時。但是，當我觀察是什么讓人類長期工作時，進化本身就像北極星一樣生存。

所以你必須在任何時候生存和復制。在進化的過程中，我決定通過性復制來做到這一點。我將確保這個生物死亡。

我認為這是有原因的，當我們長壽時，我們會得到這些原因。但我想生存下來，但我想通過交配和擁有攜帶一定免疫系統混合的后代來生存，這樣它就不太容易受到單點故障的影響。它意識到，好吧，要做到這一點，那么這個物種需要既合作又競爭，這意味著沒有人能回答如何最好地生存的問題。這是整個物種。當我看到政治上的左派和右派這樣的東西時，我感知的方式是對自己說，好吧，我從進化的角度來看，進化必須是這樣的，哦，嘿，我們必須合作。

沒有冷藏。所以我要把卡路里儲存在你的身體里，這樣我以后可能需要攝取，而不是把它放進冰箱里。我不是說我要吃你。我的意思是，當我是成功打獵的人時，我會讓你吃東西。你還活著，這樣下次我失敗或生病時你就可以打獵了。

然后你要把我帶回來，這意味著有些人將會非常合作。因此，他們的勝利狀態是合作，以至于父母會輕易地為孩子放下生命。這就是我們成功的標準。因此，進化能夠通過其進化選擇壓力將某些東西深埋在我們體內，在那里我們將犧牲自己的生命，并分裂成右派。所以讓我說完。

左邊的人非常富有同情心，非常親。我打算在你的身體上儲存一大堆卡路里，因為它可能會在某個時候回來幫助我。當你這樣做時，寄生蟲會發展出來，所以你會遇到占便宜的問題。所以現在，如果你有只會照顧、照顧的人，有些人會很酷。我只會得到照顧，我永遠不會去打獵，我永遠不會為這個團體做出貢獻。因此，你需要那些具有...