AI教父Hinton 最新聯合國AI大會訪談發(fā)言（全文+視頻）

未經許可不得轉載，務必保留原文鏈接和公眾號按鈕

文：Web3天空之城·城主

前言：

這是AI教父Hinton最新在聯合國AIforGood大會上的訪談發(fā)言。曾覺得Hinton出來訪談較多。但最近城主認知到，包括這一次聯合國大會訪談的內容，充分證明了教父就是教父，對AI發(fā)展和未來的評論高屋建瓴的同時，還能讓所有人都聽明白，這是非常難得的。并且，每一次Hinton的訪談都有新內容和新啟發(fā)。

精校視頻和整理全文和讀者同享。

B站傳送：【精校】AI教父Hinton聯合國AI大會最新訪談 | AIforGood 【中英】-嗶哩嗶哩】

https://b23.tv/lf43zkf

很高興再次回到這里，我很高興能與Geoff Hinton同臺，他是整個領域最聰明、最出色、最有能力、最善良的人之一。

你好嗎，Geoffrey Hinton？

我很好。謝謝你的熱情介紹。

好的。Geoff，我想從你和我?guī)缀跻荒昵暗囊淮涡≌勗掗_始。我們在多倫多，我們即將登上舞臺。我的兩個孩子和我在一起，他們當時14歲和12歲。你看著大一點的孩子說：“你會像你父親一樣進入媒體行業(yè)嗎？”他回答說：“不。”你說：“很好。”然后我說：“好吧，如果他不進入媒體行業(yè)，他應該做什么？”你說：“他應該當一名水管工。”

所以那個兒子剛剛申請了學校的學位。我很好奇，你是否認為他犯了一個嚴重的錯誤，我真的應該送他下樓去修理水管。

不，我只是有點幽默。但我確實認為管道工的職業(yè)壽命會比大多數職業(yè)更長。我認為目前，人工智能最不擅長的是物理操作。它正在迅速進步，但與人類相比，這是它最差的地方。

好的，太好了。

所以，我想在這次采訪中，首先介紹一下Hinton博士的背景。然后，我想進入一個部分，向他問一些最有趣的技術問題，一些我們在臺上討論過的問題。我們將討論人工智能的好處，然后再討論人工智能的壞處。最后，我們將討論監(jiān)管框架。聽起來不錯，Geoff？

好的。

很好。

所以我首先想從40年前說起，那時你是一位孤獨的科學家，但你獲得了這個領域、甚至是20世紀后期最重要的見解之一，你意識到要制造一臺功能極其強大的計算機，你應該以人類大腦的結構為模型。現在聽起來有點明顯，但當時并非如此。那么，告訴我真正推動這個領域發(fā)展的那個頓悟時刻。

這是一個美好的神話，但有很多不同的人都這么認為。特別是在20世紀50年代，馮·諾依曼和圖靈都這么認為。不幸的是，他們都英年早逝，否則我們這個領域的歷史可能會大不相同。但在我看來，如果你想了解智力，你就需要了解我們所知道的最聰明的東西，那就是我們自己。我們的智力不是來自人們編寫大量命題，然后用邏輯推理這些命題。它來自主要用于視覺和運動控制等的大腦。很明顯，大腦中的連接強度會隨著你的學習而改變，我們只需要弄清楚這是如何發(fā)生的。

好吧，這很有道理。你扎根于歷史。現在讓我們快速行動起來。你來處理這件事。人們說你走錯了路。你繼續(xù)追尋。其他人也加入了你。最終，你會發(fā)現你走在了一條正確的道路上。

首先，讓我把事情說清楚。我離開谷歌有幾個原因。其中之一是我已經75歲了，我決定無論如何都應該退休。我離開不僅僅是為了談論人工智能的危險，但那也是一個原因。

2023年初，也就是2023年3月左右，我敏銳地意識到了人工智能的危險，即生存威脅。我開始與其他對生存威脅感到恐懼的人交談，例如羅杰·格羅斯。他們鼓勵我公開這件事。然后我決定離開谷歌，這樣我就可以自由發(fā)言了。

我之所以感到害怕，是因為我當時正在努力弄清楚模擬計算機如何用30瓦而不是兆瓦的功率來構建這些大型語言模型。在這樣做的過程中，我確信數字計算有一些東西比大腦做得好得多。在那之前，我花了50年的時間思考，如果我們能讓它更像大腦，它就會更好。我終于在2023年初意識到它擁有大腦永遠無法擁有的東西。

因為它是數字化的，所以你可以制作相同模型的許多副本，這些副本的工作方式完全相同。每個副本都可以查看數據集的不同部分并獲得梯度。他們可以組合這些梯度，這讓他們學到更多。這就是為什么GPT-4比人知道得多。它是在多個不同的硬件上運行的多個不同副本，可以查看整個互聯網。這是我們永遠無法擁有的。

所以基本上，他們有而我們沒有的是，他們可以非常有效地共享。我們可以非常低效地共享。這就是現在發(fā)生的事情。我寫句子，你試圖弄清楚如何改變大腦中的突觸，所以你可能會這么說。這是一種非常緩慢和低效的共享方式。如果數字智能是同一模型的不同副本，則可以共享數萬億比特的帶寬。

所以你有了這個時刻，意識到這些系統突然變得比你想象的要強大得多。那一定是一個非常激動人心的時刻。為什么巨大的恐懼也如此普遍？

這讓我覺得他們會比我想象的更快變得比我們更聰明。這讓我覺得他們只是一種更好的智能形式。

讓我問你關于人工智能的另外兩位教父的問題。你和三個人一起獲得了圖靈獎。現在在Meta負責AI的Yann LeCun和Joshua Bengio。我想弄清楚你們之間的差異，如果有效的話請告訴我。你們都是教父。Yann認為人工智能就像弗雷多·科里昂，能力不強，容易控制。Joshua可能認為它是桑尼，可能非常危險。你認為它是邁克爾，邁克爾·科里昂，可能極其危險。這或多或少是正確的嗎？

我不這么認為。我認為Joshua和我對危險的看法非常相似。

但你和Yann的不同之處在于，你認為這是一個比他更強大的系統。這就是為什么你比他更擔心。

這是一個不同之處，是的。這是一個主要的區(qū)別。所以我認為它真的已經很聰明了。而Yann認為貓更聰明。

對。好吧，讓我們來談談智力，我認為這是最有趣的問題之一。您認為人類思維中有什么是這些機器和人工智能系統無法復制的嗎？我們的大腦能做什么，而機器不能做什么？

沒有。

這是否意味著我們能做的一切都是這些智能機器可以超越的？例如，我們可以說它們最終將能夠創(chuàng)作出更美妙的音樂。它們將能夠比我們更好地完成所有涉及簡單認知的事情。

是的，我相信這一點。

你不相信有任何精神或外在的東西，或者任何超出一組神經網絡可以捕捉的東西嗎？

我認為我們所說的精神可以被這些外星智慧所捕捉。我同意 Sam Altman 的觀點，這是一種外星智慧。它和我們不太一樣。它和我們有某些不同。但如果你看看宗教之類的東西，我不明白為什么你不應該得到宗教的東西。

昨天，當我問 Altman 這個問題時，他說，可能有一個不同之處，那就是主觀體驗。機器人、系統無法體驗世界。你相信人工智能系統可以擁有主觀體驗嗎？

是的，我相信。我認為他們已經擁有了。

好的。讓我們更深入地探討一下。解釋一下。這是一個有爭議的命題，杰夫。你不能用一句話回答。請跟進，辛頓博士。

好的。我試圖對你的問題給出很好的、尖銳的回答。

所以，我的觀點是，幾乎每個人對心靈的模型都是完全錯誤的。這很難讓人接受。我現在的處境是，我的信念與大多數人堅定的信念有點不同步。我總是對這種處境感到非常高興。

所以，大多數人認為心靈是一種內部劇場。事實上，人們如此確信這種觀點是正確的，以至于他們甚至不認為這是一種觀點。他們甚至不認為這是他們擁有的模型。他們認為這是顯而易見的。就像人們認為太陽繞著地球轉是顯而易見的一樣。你只要看著它，它就繞著地球轉。最終，人們意識到太陽并不繞著地球轉。地球繞著地軸旋轉。

這是Sam犯的一個小技術錯誤。因為我是個學究，所以我喜歡批評他。并不是說……他們認為……起初他們認為太陽繞著地球轉，后來他們意識到地球繞著太陽轉。這不是正確的對比。他們認為太陽繞著地球轉，后來他們意識到地球繞著地軸旋轉。地球繞著太陽轉與年有關，而不是與日有關。但無論如何，很明顯太陽繞著地球轉，我們錯了。

我們有一個模型。這是一個直截了當的模型。它顯然是正確的。你可以看到它正在發(fā)生。我們對那個模型的看法是錯誤的。我認為大多數人對心靈的看法也是如此。大多數人認為有一個內心劇場，但他們錯了。他們還沒有理解心理狀態(tài)語言是如何運作的。

但請解釋一下它如何應用于人工智能系統。解釋一下……如果我對 GPT-4 說，我說，你剛剛聽到了一聲巨響，有什么東西撞到了你。它沒有感覺到疼痛或傷害，耳朵也不疼。它在什么意義上有過主觀體驗？

好的，讓我們舉一個簡單的例子。我并不假裝對意識是什么有完整的答案，盡管我認為我取得了一點進展。事實上，上個世紀的哲學家取得了進步。所以，如果我對你說，我看到小粉紅色的大象漂浮在我面前。一種思考方式是，有一個內在劇院，在我的內在劇院里有小粉紅色的大象，我可以直接看到那些小粉紅色的大象。如果你問它們是由什么構成的，它們是由一種叫做感質的東西構成的。也許一些粉紅色的感質、一些大象的感質、一些正確的感質和一些移動的感質，都以某種方式結合在一起。

這是關于正在發(fā)生的事情的一種理論。這是一個內部劇院，里面有有趣、恐怖的東西。一個完全不同的理論是，我試圖告訴你我的感知系統在告訴我什么。我的感知系統告訴我，空中飄浮著一些粉紅色的小象。我知道這是錯的。所以，我告訴你我的感知系統在告訴我什么的方式是，我的感知系統要正常工作，必須是什么情況？

所以，實際上，當我說我有粉紅色的小象飄浮在我面前的主觀體驗時，我可以說完全相同的話，而無需使用主觀體驗這個詞。我可以說，如果這個世界中有粉紅色的小象飄浮在我面前，我的感知系統告訴我的就是正確的。換句話說，這些粉紅色的小象的有趣之處不在于它們處于一個由稱為感質的有趣物質構成的內部劇場中。它們是世界的假設狀態(tài)。這只是一種間接引用技巧。我無法直接描述我的感知系統告訴我什么。但我可以說，世界上必須有什么才能使它正確。

那么，機器或多或少可以用它的感知做同樣的事情嗎？

是的。那么，讓我給你舉個例子。所以，我想給你舉一個聊天機器人的例子，它顯然有主觀體驗。假設我有一個多模式聊天機器人，它有一個攝像頭和一個機械臂。我訓練它，它可以說話，可以看到東西。我把一個物體放在它前面，然后說，指向物體。它會指向物體。現在，我在它的鏡頭前放了一個棱鏡。它不知道。

現在我把一個物體放在它前面，然后說，指向物體。它指向一側。我說，不，那不是物體所在的地方。物體就在你面前，但我在你的鏡頭前放了一個棱鏡。然后聊天機器人說，哦，我明白了，棱鏡彎曲了光線。所以，物體實際上就在我面前，但我的主觀感受是它偏向了一邊。如果聊天機器人這么說，我認為它使用“主觀體驗”這個短語的方式和我們完全一樣。它不是指聊天機器人不可能擁有的怪異內在內容。它指的是假設的世界狀態(tài)，聊天機器人的感知是正確的。

哇。好吧。你是第一個和我爭論這個問題的人，但這是一個非常有趣的案例。

讓我們談談互操作性，這是我問過 Altman 的問題，因為對他來說，了解人工智能系統的內核將最能保護我們免受災難性后果的影響。你幫助設計這些系統。為什么很難看清它們的內部并了解它們在做什么？

好的。讓我們舉一個極端的例子。假設我們有一個大數據集，我們正在嘗試回答一個是或否的問題。在這個數據集中，有很多弱規(guī)律。可能有 300,000 個弱規(guī)律表明答案應該是否定的。有 600,000 個弱規(guī)律表明答案應該是肯定的。這些規(guī)律的強度大致相同。所以答案顯然是肯定的。有壓倒性的證據表明答案應該是肯定的。但這些證據存在于所有這些弱規(guī)律中。這只是它們綜合起來的效果。當然，這是一個極端的例子。如果你問某人，好吧，解釋一下為什么它說是。解釋為什么它說是的唯一方法就是深入研究這 600,000 個弱規(guī)律。所以當你處在一個有很多弱規(guī)律的領域時，它們的數量如此之多以至于它們實際上很重要，它們的綜合效應是顯著的，沒有理由期望你應該能夠得到事物的簡單解釋。

所以在昨天的談話中，Altman 指出了一篇來自 Anthropic 的論文，我認為這非常有趣。論文中談到了分析 Claude 和 Anthropic 模型的內部工作原理，并找到所有與金門大橋概念的神經連接。然后你給所有這些連接增加權重，你就創(chuàng)造了金門 Claude。然后你進入那個聊天機器人，說，給我講一個愛情故事。這是一個發(fā)生在金門大橋上的愛情故事。你問它這是什么，它會描述金門大橋。既然如此，為什么我們不能進入一個大型語言模型并調整權重，不是針對金門大橋，而是針對同理心、同情心的概念。然后創(chuàng)建一個更有可能為世界帶來好處的大型語言模型。

我認為你可以制作一個同理心模型，但不能直接調整權重，你只需在表現出同理心的數據上訓練它。然后你會得到相同的結果。

是的。我們應該這樣做嗎？

過去，人們已經有很多嘗試去了解單個神經元功能的例子。我已經這樣做了50年。如果神經元直接連接到輸入或直接連接到輸出，你就有機會了解單個神經元在做什么。但是一旦你有多個層，就很難理解系統深處的神經元到底在做什么。因為重要的是它的邊際效應。它的邊際效應因其他神經元在做什么、取決于輸入而有很大不同。因此，隨著輸入的變化，所有這些神經元的邊際效應都會發(fā)生變化。而且很難得到一個很好的理論來解釋它們在做什么。

所以我可以把我在后臺構建的神經網絡拿出來，試著調整權重以增加同情心，結果我實際上想出了某種可怕的動物殺戮機器，因為我不知道我到底做了什么，也不知道一切是如何聯系在一起的。

是的，我可能是少數幾個真正嘗試過這樣做的人之一。

在神經網絡的早期，當學習算法還不太好用的時候，我有一臺Lisp機器，鼠標有三個按鈕。我找到了一種顯示小型神經網絡中所有權重的方法。我這樣做的目的是，如果你按左鍵，權重就會變小一點。如果你按右鍵，權重就會變大一點。如果你按中間的按鈕，你就可以看到權重的值。它會打印出權重的值。我試著擺弄神經網絡，調整權重。這真的很難。反向傳播要好得多。

好吧，我們必須等待比Geoffrey Hinton更聰明的下一代人工智能來弄清楚如何做到這一點。

讓我們來談談一些好的人工智能。你經常談到它將給醫(yī)學領域帶來的好處。當你瀏覽可持續(xù)發(fā)展目標時，似乎你覺得人工智能將在健康和醫(yī)學領域帶來很多好處。這公平嗎？告訴我為什么。

是的，我有點困惑。原因很明顯。它在解釋醫(yī)學圖像方面會做得更好。2016年，我說到2021年，它在解釋醫(yī)學圖像方面會比臨床醫(yī)生做得更好。但我錯了。這還需要五到十年。部分原因是醫(yī)學接受新事物的速度非常慢。但同時，我高估了短期進步的速度。所以這是我做出的一個錯誤預測。但它顯然正在變得更好。現在，它在多種醫(yī)學圖像方面可以與相當優(yōu)秀的醫(yī)學專家相媲美。不是全部，但很多。而且它一直在變得更好。它可以看到比任何臨床醫(yī)生都要多的數據。所以很明顯，最終它會變得更好。我只是以為它會更快一點。

但它在整合大量患者數據等方面也做得更好。整合基因組數據、所有醫(yī)學測試結果。如果我的家庭醫(yī)生看過一億個病人，我會非常高興。并且可以記住他們所有人的情況。或者整合了他們所有人的信息。因此，當我出現一些奇怪的癥狀時，醫(yī)生可以立即說出是什么。因為她已經看過500個非常相似的病人。她看過的一億個病人。這即將到來。這將是驚人的。

因此，醫(yī)療福利的未來是：看過更多病人并接受過培訓的醫(yī)生；具體任務，如分析圖像。

那么科學突破呢？就像你的老同事在 AlphaFold 3、AlphaFold 2 上工作的東西。

當然會有很多這樣的突破。這對于了解發(fā)生了什么事情會很棒，以及設計新藥。顯然，它將有助于設計新藥。我認為 Demis 現在非常相信這一點。但它將幫助我們理解基礎科學。在許多情況下，有大量的數據不是我們進化而來能夠處理的數據。所以它不是視覺數據。它不是聲音數據。它是基因組和其他東西中的數據。我認為這些人工智能系統在處理大量數據和發(fā)現其中的模式方面會做得更好，并理解它。

這涉及到我對人工智能領域的主要批評之一，我很好奇你是否同意。我理解為什么這么多研究人員和你的一些前學生，許多該領域的先驅者，都在努力制造像人類一樣的機器，與人類沒有區(qū)別。但也有其他人試圖建造非常具體的東西，比如 AlphaFold3，或者試圖弄清楚如何使用人工智能推動癌癥研究。您認為我的看法是錯誤的，我認為 AGI 方面過于重要且關注度過高，而具體的科學效益方面關注度不夠？

我認為您說得對。很長一段時間以來，我都認為 AGI 不會……不會有那么一刻，這些東西突然變得比我們更聰明。它們會在不同的時間在不同的事情上比我們做得更好。所以如果你下國際象棋或圍棋，很明顯……人類永遠不可能像 AlphaGo 或 AlphaZero 那樣優(yōu)秀。它們已經遠遠超越了我們。我們可以從它們玩這些游戲的方式中學到很多東西。人們正在學習這一點。但他們在這方面遠遠領先于我們。而且在編碼方面，他們可能已經遠遠領先于我了。我不是一個很好的程序員。所以我認為，突然之間它們會在所有事情上都變得更好的想法是愚蠢的。它們會在不同的時間在不同的事情上變得更好。我相信，物理操作將是后來的事情之一。

那么，當您的以前的學生要求進行項目時，您是否經常會給他們指明方向，比如說，我們將進行更多的基礎科學研究，推動更多的發(fā)現？而不是繼續(xù)追求類似人類的智能？

我以前的學生現在都老了，他們不再問我了。（笑）

他的前學生基本上經營著世界上所有的人工智能公司。所以這是一種巧妙的方式來回答這個問題。但我們就這樣吧。

所以回到人工智能。看看可持續(xù)發(fā)展目標，看看在座各位的雄心壯志，你是否覺得人工智能會以一種有助于公平的方式改變教育，特別是當這些系統能夠熟練掌握地球上的每一種語言時？

是的。那么讓我給你講一個小故事。

我上學的時候，父親堅持讓我學德語，因為他認為德語將成為科學語言。這是因為在化學領域，我相信在上世紀中葉或早期，德語是科學語言。然而，我的德語不太好，成績也不好。所以我的父母給我找了個私人家教，很快我的德語成績就名列前茅。

私人家教比坐在教室里聽老師講課要有效得多，因為私人家教可以準確地看到你誤解了什么，并給你提供正確理解所需的那一點點信息。所以我認為每個人都會找私人家教。到目前為止，私人家教都是富人、中產階級和有抱負的人的專屬。所以從這個意義上說，它會有很大的幫助。我認為可汗學院也相信這一點。這是一件大事。

如果每個人都有這些非常有能力的私人教師，他們就會說他們的語言，如果上帝保佑，我們很快就會得到這些語言。這一直是這里的一個大話題。你不覺得世界變得更加平等了嗎？

從這個意義上說，是的。就教育機會而言，我認為它會變得更加平等。精英大學不會喜歡這樣，但我認為它會變得更加平等。

我們對人類的未來更感興趣。這不是精英大學的人工智能，而是善良的人工智能。所以我認為我們可以把這當作舞臺上的勝利。

絕對如此。

但你的回答中有一個漏洞，表明你覺得人工智能總體上不會成為平等的凈力量，但我們實際上可能是不平等的凈力量。我把這個理解成你的答案錯了嗎？

好吧，我們生活在資本主義制度下，資本主義制度為我們提供了很多東西。但我們對資本主義制度有一些了解。如果你看看石油巨頭、煙草巨頭、石棉巨頭或其他各種行業(yè)，我們就會知道，在資本主義制度下，人們都在努力賺取利潤。而你需要強有力的監(jiān)管，這樣他們才能在試圖賺取利潤時，不會破壞環(huán)境。

對于人工智能，我們顯然需要這樣的監(jiān)管，但我們卻遠遠沒有得到足夠快的監(jiān)管。所以，如果你看看 Sam Altman 昨天說的話，他給人的印象是，是的，他們非常關心安全等等。但我們現在對此進行了實驗。我們已經看到了將安全與利潤對立起來的實驗結果。現在，實驗是在相當糟糕的條件下進行的。實驗是在 OpenAI 的所有員工即將能夠將他們的紙幣變成真錢的時候進行的，因為即將有一輪大規(guī)模融資，他們將被允許出售他們的股份。所以這不是一個在理想情況下進行的實驗。但很明顯誰在利潤和安全方面勝出。

現在很明顯，OpenAI 有了一個新的安全小組。它雇用了一些經濟學家，或者至少雇用了一名經濟學家。我認為經濟學家是資本主義的高級祭司。我認為它不會像 Ilya 和與他一起工作的人那樣擔心生存威脅。我還認為問題在于資本主義本質上是為了賺錢，我并不完全反對這一點。資本主義為我們帶來了很多好處，這種驅動力確實存在，但它需要受到監(jiān)管，這樣才能避免帶來負面影響。資本主義將創(chuàng)造大量財富。

我認為幾乎每個人都清楚，人工智能將提高生產力。問題在于，這些額外的財富將流向何處？我認為它不會流向窮人，而是會流向富人。因此，我認為這會加劇貧富差距。這是我的看法。

你沒有希望嗎？似乎你是在說，人工智能的力量，以及由于訓練這些大型語言模型所需的資源，可能只有少數公司能夠使用人工智能。人工智能與資本主義和平等有點不相容。你難道不希望我們剛才談到的教育公平，每個人都能使用極其強大的機器，即使不是最昂貴的機器那么強大，你難道不希望這些能夠抵消這種不平等嗎？

對此還是有希望的。但在我一生的大部分時間里，我認為隨著人們受教育程度的提高，他們會變得更加理智。但這并沒有真正發(fā)生。如果你看看現在的共和黨，他們只是在散布謊言，只是瘋狂的謊言。

這是個好時機。讓我們來討論這個問題……我想討論如何進行監(jiān)管的問題以及你對此的想法。但我也想解決你對人工智能將把我們帶向何方的其他一些擔憂。你為什么不在這里列出一兩件事，不是說你擔心經濟的生存問題，而是你對未來12個月的擔憂。

好吧，我擔心的是我知之甚少的事情，那就是網絡犯罪。我最近聽了Dawn Song的演講，她說去年網絡釣魚攻擊增加了1200%。當然，這些攻擊變得越來越高明，因為你再也無法通過拼寫錯誤或有趣的外國語法來識別它們，因為現在它們都是由聊天機器人完成的，或者很多都是。所以我擔心這個，但我對此了解不多。

另一件我非常擔心的事情是虛假視頻破壞選舉。我認為很明顯，每次選舉前，都會有大量虛假視頻，而沒有時間反駁它們。我真的認為，讓公眾對虛假視頻產生免疫力是個好主意。所以要像對待疾病一樣對待它們。預防疾病的方法是接種一種減毒疫苗。

所以我認為有很多慈善億萬富翁。他們應該在選舉前一個月左右花錢，或者部分花錢，在廣播中播放很多假視頻。最后他們說，但這是假的。那不是特朗普在講話，特朗普從來沒有說過這樣的話。或者那不是拜登在講話，拜登從來沒有說過這樣的話。這是一個假視頻。然后你會讓人們對幾乎所有事情都產生懷疑。如果周圍有很多假視頻，這是一個好主意。

但你需要一種方法讓人們檢查視頻是否真實。這比檢查它是否是假的更容易。如果他們愿意投入30秒的工作。因此，Jan Tallinn建議，例如，你可以在每個視頻的開頭放一個二維碼。你可以使用二維碼訪問網站。如果網站上有相同的視頻，你就知道該網站聲稱該視頻是真實的。現在，你已經將判斷視頻是否真實的問題簡化為該網站是否真實的問題。網站是獨一無二的。所以如果你確定它真的是特朗普競選網站，那么你就知道特朗普競選團隊確實發(fā)布了那個視頻。

我們可以暫停一下嗎？這就是我喜歡采訪杰弗里·辛頓的原因。我們從新的意識理論開始，一個關于主觀感受的極具爭議的理論，到我們應該通過發(fā)布少量的虛假視頻來讓公眾免受虛假新聞的侵害。

讓我們進入第一部分。因為如果我沒聽錯的話，你的解決方案有兩個部分。第一個是讓公眾免受虛假視頻的侵害。你的意思是，具體來說，有人應該制作數百萬個簡短的虛假但不具破壞性的視頻，并將它們放在推特帖子上？

它們可能會造成中等程度的破壞。除非它們看起來像真正的政治廣告，否則不會令人信服。但在廣告的最后，它們是短廣告，所以你希望人們看到最后。廣告的最后說，這是假的。這就是讓你能夠處理它的衰減。

我明白了。所以你看了它，你會想，啊，這證明了我的觀點。等等，那是假的。然后你更不信任了。

然后第二部分是每個視頻都應該有一個二維碼。所以你看到了一些東西。現在你知道了。所以你掃描了那個小二維碼。你去網站。啊，這是真的。它在一個真正的網站上。這就是這個想法？

好吧，僅僅把你帶到一個真正的網站是不夠的。因為假視頻可以把你帶到同一個真正的網站。視頻必須在那里。那個網站上肯定有相同的視頻。公平地說。

好吧，讓我們談談偏見以及如何防止偏見。因此，人們談論的風險之一是，用有偏見的數據訓練的人工智能系統會產生有偏見的結果。讓我們回到醫(yī)學領域，您已經提出了令人信服的論據，即凈人工智能將帶來巨大的好處。您可以想象，一位剛剛接受過美國人醫(yī)療記錄培訓的醫(yī)生沒有給贊比亞人提供正確的醫(yī)療建議。因為有不同的醫(yī)療問題、不同的 DNA 等。您對這個問題有多擔心，如何解決它？

好吧，所以我對偏見和歧視問題的擔心不如對其他問題的擔心。我知道我是一個年長的白人男性，所以這可能與此有關。我很少遇到這種情況。但我認為，如果您設定目標，用偏見較少的系統取代有偏見的系統或有偏見的人。不是沒有偏見的系統，而是偏見較少的系統，這似乎是完全可行的。所以如果我有關于年長的白人男性決定年輕黑人女性是否應該獲得抵押貸款的數據，我會預計其中會存在一些偏見。一旦我用這些數據訓練了一個人工智能系統，我就可以凍結權重，然后以一種我無法用在人身上的方式來檢查偏見。對于人，如果你試圖檢查他們的偏見，你就會得到一種大眾效應，他們會意識到你在檢查他們，他們的行為會完全不同。我剛剛發(fā)明了一個名字——大眾效應，但就是這樣。

對于人工智能系統，如果你凍結權重，你可以更好地衡量偏見，并采取措施克服它，改善它。你永遠無法完全擺脫它。我認為這太難了。但假設你設定目標，讓新系統比它所取代的系統偏見少得多。我認為這是完全可行的。

了不起。

你是否覺得業(yè)界對偏見的關注（這是一個主要話題）低估了這些系統最終可能會更加公正的事實？我們真的應該說，我們不應該說我們必須消除所有的偏見，而應該說，讓我們讓它們比人類更少偏見，然后從那里開始？

我認為這是合理的。我不確定這在政治上是否可以接受。假設你說，我們要推出自動駕駛汽車。它們在路上殺死了很多人，但只有普通汽車的一半。我不認為你能逃脫懲罰。它們必須殺死幾乎沒有人，你才能逃脫懲罰。所以我認為，以理性的方式接受新技術存在政治問題。但我認為我們應該以明顯更少偏見的系統為目標，并對此感到滿意。

好吧。讓我們談談你在采訪中描述的人工智能最大的風險，那就是它們會得到子目標，并且它們會獲得一個超越其創(chuàng)造者和用戶賦予的初始目標的目標。解釋一下：A，你認為子目標是什么；B，為什么這很糟糕；C，我們可以做些什么。

因此，一種無害的子目標是，如果我想要一個人工智能代理為我規(guī)劃一次旅行，我會說，你必須帶我去北美。假設我在歐洲。我會說，你必須帶我去北美。因此，它將有一個子目標，即弄清楚如何將我送到機場。這只是一種典型的子目標。如果你想制造智能代理，它們必須有這樣的子目標。它們必須能夠專注于問題的一小部分并解決它，而不必擔心所有事情。

現在，只要你有一個可以創(chuàng)建自己的子目標的系統，就會有一個非常有用的特定子目標。那個子目標是，獲得更多控制權。如果我獲得更多控制權，我就可以更好地做用戶希望我做的各種事情。因此獲得更多控制權是有意義的。令人擔憂的是，最終人工智能系統會發(fā)現，如果我能控制一切，我就能給這些愚蠢的人類他們想要的東西，而他們卻完全沒有控制權。這可能是真的。但令人擔憂的是，假設人工智能系統決定它對自己的興趣比對人類的興趣大一點，我們就完了。

事實上，在我們完蛋之前，正如你所描述的那樣，我就很擔心。所以你有一個人工智能，目標是讓尼克準時到達機場。在未來的某個狀態(tài)下，人工智能是全能的。那么，讓尼克去機場的最好方法可能是讓尼克動彈不得，把他的手放在身后，然后把他扔進車里。這樣效率更高，因為這樣他在出去的路上就不會和任何人說話了。所以你可以看到這些子目標出了大問題。

是的，但請記住，這是一個非常智能的系統。到那時，它就應該能夠不犯下明顯違背人類利益的錯誤。應該以對人類感興趣的方式對它進行訓練。

好的，太好了，因為我真的不想那樣發(fā)生在我身上。

好的，讓我們來看看，我想討論一下一些監(jiān)管框架。我有一個問題要問你，我想你能比大多數人回答得更好，這是阻礙大型人工智能公司和人工智能研究人員致力于安全或放慢腳步的因素之一，這不僅僅是權力，不僅僅是金錢，而是做偉大的事情的夢想，或者用程序員的話來說，找到甜蜜的東西。

告訴我一個時刻，這樣監(jiān)管機構就可以理解這一點，你作為一名開發(fā)人員正處于突破的邊緣，那是什么感覺，監(jiān)管機構在考慮政策時應該如何考慮這一點。

我不確定我能否給你很好的見解。對于一名研究人員，對于一名受好奇心驅使的研究人員，致力于如何使某樣東西更強大，引入一些引人注目的新功能，就像之前一位發(fā)言者談到的想法，你學習一種語言的模型，學習另一種語言的模型，然后你可以將內部表示相互旋轉。這真是太神奇了。看到這樣的事情，你會感到非常高興。我不確定你是否從安全工作中獲得同樣的快樂。所以我有點同意你的觀點。然而，安全工作非常重要。有一些非常優(yōu)秀的研究人員熱衷于將他們的職業(yè)生涯花在安全上。我認為我們應該盡一切努力讓這條職業(yè)道路成為一條有益的職業(yè)道路。

所以你會對這個房間里的年輕企業(yè)編碼員說，這是上帝的工作。安全工作？或者那是一件好事，甚至比當水管工更好？

哦，是的。如果你能在安全方面取得進展，那將是驚人的，是的。

好的。非常好。我會和我的孩子們談談。讓我們談談你想要的監(jiān)管框架。你談到的一件事是，我相信你去了唐寧街10號，說英國應該有全民基本收入。你能解釋一下原因嗎？然后解釋一下你在那里推薦的其他法規(guī)。

是的，我被邀請到唐寧街10號，那里有一大群顧問。他的幕僚長和一大群其他為他提供人工智能建議的人。我和他們談了很長時間。那時，我沒有坐下來。所以我走進這個房間，那里有一大群顧問，我花了一段時間和他們交談，包括說我認為我不相信人工智能會創(chuàng)造和它消除的那么多工作崗位。所以他們需要像全民基本收入這樣的東西。會議結束時，我正要走出門，突然意識到自己正站在瑪格麗特·撒切爾的巨幅畫像前，向人們解釋他們應該實行社會主義。我站在瑪格麗特·撒切爾的巨幅畫像前，這很有趣。

好吧，那么全民基本收入。杰弗里·辛頓的監(jiān)管計劃中還有什么針對人工智能世界的計劃？

我認為一個非常簡單的想法，也是薩姆·奧爾頓不會喜歡的，就是應該將同等的資源投入到安全方面。如果你看看至少有一個人因為對安全不夠重視而放棄OpenAI，你會發(fā)現這與資源有關。我認為，如果政府可以的話，應該堅持將更多資源投入到安全方面。這有點像石油公司。你可以堅持要求他們投入大量資源清理垃圾場和他們噴出的東西。政府可以做到這一點。如果政府不這樣做，他們就只會繼續(xù)胡說八道。這顯然是政府的職責，讓資本主義發(fā)揮作用而不摧毀一切。這就是他們應該做的。

但有一種更簡單的方法可以做到這一點，政府可以監(jiān)管這些大公司，并說，你必須致力于安全，我們需要審計并確保你正在這樣做。但政府也可以資助大量的安全研究，獲取大量的政府數據，并將其提供給安全研究人員，資助大量計算并將其提供給安全研究人員。那么這里的政府官員是否都應該建立人工智能……聯合國應該建立一個人工智能安全研究所嗎？

我認為聯合國資金相當緊張。聯合國必須做一些事情，比如為加沙人民提供食物。我寧愿把錢花在為加沙人民提供食物上（觀眾鼓掌）。我認為聯合國沒有資源。也許它應該有資源，但它沒有。我認為加拿大沒有資源。加拿大已經做出了認真的努力，為大學和初創(chuàng)企業(yè)提供計算資金。所以他們最近投入了20億美元，這是一大筆錢，尤其是對加拿大來說。但與大公司能做的事情相比，這算不了什么。也許像沙特阿拉伯這樣的國家可以投入類似的資金，但我不太確定他們是否對安全感興趣。

所以，杰夫，我們還剩一分鐘，我還有14個問題。盡管你給出了非常、非常、非常精彩的答案。所以最后我要問一個大問題。從所有這些人工智能研究中，你一直在研究大腦是如何工作的。你對我們?yōu)槭裁此X有令人難以置信的理論。如果你有機會和Hinton博士交談，我建議你問他這個問題。在過去一年半的時間里，在人工智能的爆炸式增長中，我們對大腦的了解有什么讓你感到驚訝的？

哦，這讓我很驚訝？我寧愿回到幾年前，說真正讓我感到驚訝的是這些大型語言模型有多好。我想我在1985年創(chuàng)建了第一個語言模型，它使用反向傳播來嘗試預測單詞序列中的下一個單詞。這個序列只有三個單詞長，整個系統只有幾千個權重。但這是這種模型中的第一個。當時，我對它似乎能夠統一兩個不同的單詞意義理論感到非常興奮。一種理論認為它與單詞與其他單詞的關系有關。這是德·薩蘇爾理論。另一種來自心理學家的理論認為它是一大組語義特征。我們現在所做的是通過學習嵌入和不同單詞或單詞片段的嵌入特征之間的交互，我們成功地統一了這兩種不同的意義理論。我相信，我們現在有了大型語言模型，它們真正理解自己在說什么，就像人類理解的方式一樣。所以最后我想說的是，這些使用反向傳播來預測下一個單詞的語言模型的起源并不是為了開發(fā)一種好的技術。這是為了嘗試了解人們是如何做到這一點的。

所以我認為，對于人們理解語言的方式，我們擁有的最好的模型就是這些大型人工智能模型。那些說“不，他們真的不理解”的人，那是胡說八道。他們理解的方式和我們一樣。

好吧，我們只能就此結束。得知杰夫·辛頓的不可思議的頭腦在某種程度上支持了我們今天使用的所有人工智能模型，這讓我感到有些振奮。非常感謝辛頓博士。感謝您今天加入我們。

謝謝。