北京
作者 | 允毅
如果說這個世界上有一個人，能讓你在聽完他的話后，對當下的人工智能感到一種源自靈魂深處的戰栗，那一定非 Geoffrey Hinton（杰弗里·辛頓） 莫屬。
最新一期播客中，圖靈獎與諾貝爾獎雙得主、AI 教父 Geoffrey Hinton（杰弗里·辛頓）精彩亮相，這次他用最淺白的比喻講清楚了幾件事：它是怎么變聰明的，它已經走到了哪里，它接下來會怎樣改變人類社會，以及一旦失控，終局可能有多可怕。
節目一開始，Hinton 先把 AI 的路線之爭講清楚了，也點出了神經網絡最關鍵的訓練機制“反向傳播”。在他看來，人類的優勢在經驗，AI 的優勢在“壽命”，它學會的東西可以被快速復制和共享，進化速度遠超人類。
進一步延伸出的問題是，AI 會思考嗎？AI 有感覺嗎？答案令人震驚，有的。
Geoffrey Hinton 舉了一個例子，在 GPT-4 還未聯網的時候 ，他問了大模型一個關于“為什么堆肥堆像原子彈？”的問題，令他大吃一驚的是，GPT-4 不僅回答的非常有理有據，而且已經通過聯想吃透本質所在——AI 竟然懂鏈式反應。
借助“粉紅色小象”和“棱鏡錯覺”的例子，他試圖說明，人類所謂的主觀意識更像是一種“虛構”，不是什么了不起的東西。如果按照這個標準理解，多模態大模型已經有了“主觀意識”。在這個層面上，人類與機器的界限，已經模糊不清。
當 AI 的創造力、觀察力、學習能力、感知能力都能追上并超越人類時，人類的優越感正在被一一擊潰。
而 Geoffrey Hinton 認為真正的風險不止在失業危機、經濟失調，更可怕的是當 AI 學會撒謊，開始糊弄人類。
Geoffrey Hinton 打了一個比喻，假如你被一群三歲孩子雇傭，你在為他們工作。他們是老板，你是員工。你需要多長時間才能從這群三歲小孩手里奪取控制權？
人類就是那個三歲小孩。
這就像打開了潘多拉的盒子，如果 AI 被用于政治和戰爭？如果它能用幾句話就說服人類把它從“安全盒子”里放出來呢？
在訪談中，他描繪的那些關于“失控”的圖景，數次讓錄音室陷入死一般的寂靜。
這不僅是一場技術對話，更是一位智者以畢生所學，從哲學、社會學乃至人類存亡的高度，對未來終局的驚人推演。
精彩先看：
AI 的底層邏輯與“頓悟時刻”
生物學范式 vs. 邏輯范式： 早期 AI 走的是邏輯推理路線，而 Hinton 堅持生物學路線
反向傳播（Back Propagation）： AI 學習方式像“松緊”，通過將誤差產生的“力”向后傳導，調整神經元之間的連接強度。這是 AI 能夠自我學習的關鍵。
連接強度 vs. 代碼： 真正的智能不在于人類寫的幾行代碼，而在于通過海量數據訓練出來的億萬個“連接強度”。
AI 真的在“思考”嗎？
思維鏈推理： AI 不僅僅是預測下一個詞，它能像人類孩子做數學題一樣進行“思維鏈推理”
理解類比：“堆肥堆像原子彈”證明 AI 理解深層的因果機制，而不僅僅是詞語搭配。
主觀體驗與意識： Hinton 提出了一個顛覆性的觀點：意識不是一種神秘的流體。他通過“棱鏡實驗”論證，聊天機器人像人類一樣擁有“主觀體驗”。
巨大的風險
欺騙與操縱： AI 已經學會了撒謊。更聰明的 AI 可以輕易通過語言操縱人類，就像大人用糖果哄騙小孩。
奇點與自我進化： 當 AI 開始編寫自己的代碼并自我優化時，奇點就開始了。這種指數級的增長像“霧中看車”，誰也無法預測 10 年后的未來。
戰爭與自主武器： 軍方為了追求反應速度，可能會取消“人類確認”的步驟。這是極大的隱患。
人類的被取代： 這不同于拖拉機取代體力勞動，這是“智力取代智力”。由于沒有更高級的工作留給人類，社會可能面臨巨大的失業和動蕩。
巨大的收益
醫療革命： AI 可以充當“專家委員會”，在診斷、新藥研發和醫院資源管理上遠超人類醫生。
解決氣候變化： AI 能設計新材料、更高效的太陽能板，甚至直接嘲諷人類缺乏政治意愿去解決碳排放問題。
國際博弈與合作
利益一致性： 雖然各國在網絡攻擊、選舉干擾上是對手，但在“防止 AI 奪取控制權”這件事上，中美等大國的利益是絕對一致的。這類似于冷戰時期的“避免核毀滅”，是唯一的合作契機。
最后的警告
AI 目前做不到，只是“尚未”做不到。
共存的緊迫性： 我們必須在 AI 全面超越我們之前，投入大量精力研究如何與它們“愉快共存”。
以下是播客精彩全文，可以欣賞到 Geoffrey Hinton 的頭腦風暴魅力：
1 AI 教父是如何養成的？
主持人： 提到當今 AI 的起源，感覺就像大型語言模型（LLM）突然席卷了全世界。它們橫空出世，讓所有人都瘋狂了——有人興奮得在街上熱舞，有人嚇得躲在枕頭里哭。那是幾年前才發生的事。但我很好奇，是什么讓你早在多年前就踏上了這條路？我看資料上寫的是 90 年代，對嗎？
Geoffrey Hinton：不，其實最早要追溯到 20 世紀 50 年代。50 年代初，AI 的創始人們對于如何構建智能系統有兩派觀點。
一派是受邏輯啟發的。他們認為智能的本質就是推理。你有前提，有運算規則，然后推導出結論。這很像數學：你有一個方程，還有處理方程兩邊的規則，然后你推導出新的方程。這就是當時的主流范式。
另一派則是完全不同的生物學范式。這種觀點認為：看，我們要研究的智能體都有大腦。我們需要搞清楚大腦是怎么工作的。大腦非常擅長感知和類比推理，但在邏輯推理方面其實并不出色——人類通常要到十幾歲才能真正掌握推理。所以我們應該研究大腦擅長的其他事情，搞清楚龐大的腦細胞網絡是如何實現感知和記憶的。當時只有極少數人相信這種方法，其中就包括約翰·馮·諾依曼和阿蘭·圖靈。不幸的是，他們都英年早逝。圖靈甚至可能是在英國情報部門的“關照”下離世的。
主持人： 圖靈，也就是電影《模仿游戲》的主角。回到 50 年代。那時候你還是個小孩子，對吧？
Geoffrey Hinton：是的。那時我的年齡還是個位數。
主持人： 個位數年紀。那么，你對這個領域的好奇心究竟是從哪里開始的呢？
Geoffrey Hinton：有幾個契機。60 年代初中期我上高中時，有個非常聰明的朋友，他是個出色的數學家，書讀得很多。有一天他在學校跟我聊起一個觀點：記憶可能分布在許多腦細胞上，而不是存儲在單個細胞里。這是受到全息圖的啟發。當時 Gabor 很活躍，全息圖技術剛出來，所以這種“分布式記憶”的想法讓我非常著迷。從那以后，我就一直在思考大腦是如何存儲記憶的，以及它到底是如何運作的。
主持人： 是你作為計算機科學家的一面，還是作為認知心理學家的一面，促使你深入研究這些想法的？
Geoffrey Hinton：其實兩者都有。但到了 70 年代，當我讀研究生時，很明顯有一種新方法還沒被充分利用，那就是：如果你有關于大腦運作的理論，你完全可以在數字計算機上模擬它——除非你的理論特別瘋狂，認為這一切都是量子效應。
主持人： 咱們先別扯那個話題。
Geoffrey Hinton：沒錯。時機未到，我們先不去招惹彭羅斯（Penrose）的量子大腦理論。
說回正題，你可以用數字計算機來模擬這些理論。結果發現，當你真去模擬當時大多數關于大腦運作的理論時，它們根本跑不通。
所以我這輩子都在研究一件事：到底該怎么調整神經元之間的連接強度，才能讓計算機通過模擬真正學會復雜的東西？
雖然我沒能徹底搞懂大腦是怎么運作的——我們知道一些皮毛，但不知道大腦究竟如何獲取它所需的信息來調整連接強度，比如它是怎么知道該增強還是減弱某個連接才能讓表現更好。但有一點我們很確定：我們現在知道如何在數字計算機里做到這一點了。
主持人： 那是不是意味著，在做這件事上，我們造出了一個比我們人腦更強的“計算機大腦”？
Geoffrey Hinton：僅就這一點而言，是的。正是這讓我 2023 年初感到非常不安：數字智能可能真的比我們要強——比我們這種模擬生物智能更強。
主持人： 這聽起來好像你默認只有一個可怕的地方？
Geoffrey Hinton：不止有一個。我只是想一個個說。
2 從反向傳播開始，聊 AI 的底層邏輯
主持人： 好。咱們來說說人工神經網絡（Artificial Neural Networks）。能不能請你從最基礎的層面給我們拆解一下？講講它是如何增強或減弱信息傳遞和信號的？它是如何被激活的？以及它是如何一步步發展到今天的？
Geoffrey Hinton：理解這個話題的一個切入點是氣體定律。你壓縮氣體，它會變熱。為什么？因為微觀層面有一堆看不見的原子在瘋狂亂撞。所以，氣體定律其實是用大量微觀粒子的相互作用來解釋宏觀現象。
神經網絡的靈感來源也類似：大腦中海量神經元的活動，跟我們有意識的邏輯推理完全不同，但它支撐著推理，而且在感知或類比推理方面甚至比邏輯推理更強。符號學派永遠解釋不了我們是怎么做類比的，這讓人很不滿意，但神經網絡能解釋。
在講細節之前，基本的思路是：像“單詞”這樣的宏觀概念，對應的是大腦中巨大的神經活動模式。相似的單詞對應相似的模式。比如“星期二”和“星期三”對應的神經活動模式就非常相似。你可以把每個神經元看作一個“微特征”（micro feature），當它被激活時，就表示具備了這個特征。
比如我說“貓”，很多微特征會被激活：它是活的、毛茸茸的、有胡須、可能是寵物、是捕食者等等。如果我說“狗”，很多相同的特征也會被激活：捕食者、寵物等，但顯然也有不同之處。所以現在的觀點是，在我們使用的符號之下，有著更復雜的微觀活動，符號只是這些活動的表象。真正的“思考”和“類比”都發生在這個微觀層面。這就是神經網絡的核心。
主持人： 所以是神經元集群之間的“協作”達成了最終結果。我喜歡“協作”這個詞。
Geoffrey Hinton：是的，大量的協作。最簡單的例子是圖像識別。假設有一張黑白照片，對計算機來說，它就是一堆代表亮度的數字矩陣。任務是判斷圖里有沒有鳥。
人們嘗試寫程序做這件事已經半個世紀了，但一直沒成功。因為鳥的樣子千差萬別：可能是近處的鴕鳥，也可能是遠處的海鷗；可能是黑的，也可能是白的；可能在飛，也可能只是森林里露出一小部分。背景雜亂、光線變化……這讓“識別鳥”變得極其困難。
我要解釋的是，如果我要手工設計一個神經網絡，我會怎么做。一旦你明白了手工怎么做，我就能解釋如何讓它自己學習連接強度，而不是靠人去填。
主持人： 基于你剛才說的，相機已經把圖像變成了數學數值，對吧？
Geoffrey Hinton：沒錯，相機就是干這個的。
主持人： 但相機并不識別圖像。它只是一堆數字。
Geoffrey Hinton：對，只是一堆數字。
主持人： 所以我有芯片收集光線變成數值，這就成了照片。但是按你說的，難道不需要給每一種鳥都分配一個數值嗎？作為人類，我們不僅是識別，更多是靠直覺。舉個例子，畫個彎曲的 V 放在云里，所有人都會說那是鳥。
Geoffrey Hinton：不對，在你看來那是鳥，在我看來那就是個 V。為什么你知道那是鳥？
主持人： 我也納悶啊，我怎么就知道那是鳥了呢？
Geoffrey Hinton：你以為那不是數學？其實那就是數學！大腦里的神經元激活就是數學數值。
舉個例子，假設我們在中間層有個東西能檢測鳥頭，但它不太確定那是不是真的鳥頭。而你已知這是一只鳥，所以你希望輸出結果更確信它是“鳥”。
這就好比你有一根松緊帶，拉著那個輸出值說：“多一點，再多一點，我要這里的數值更大。”
你希望這股拉力能傳導回去，讓那個覺得“可能有鳥頭”的神經元變得更自信，確信那里確實有個鳥頭。
所以你要做的就是，取這根松緊帶施加在輸出神經元上的拉力，把它向后傳導給前一層的神經元，在它們身上產生一股力，拉動它們。這就是所謂的反向傳播。
主持人： 這叫反向傳播。
Geoffrey Hinton：從物理角度來想：有一個力作用在輸出神經元上，你想把這個力往回傳，讓它作用于前一層的神經元。當然，同時有很多力作用在許多不同的輸出神經元上。所以你必須把所有這些力合成起來，才能算出作用在前一層某個特定神經元上的總力。
一旦你把這股力一路傳回整個網絡，所有神經元就都受力了，這時候你就可以說：好，讓我們改變每個神經元的傳入權重，讓它的活動水平朝著受力的方向調整。這就是反向傳播。它讓整個系統運轉得奇跡般地好。
主持人：那么，這就是 AI 覺醒的開端嗎？
Geoffrey Hinton：我跟你說過，先別往那兒扯。
主持人： 好吧。是那個“頓悟”時刻嗎？神經網絡從此不再需要人類老師了？那是這個過程的開始嗎？
Geoffrey Hinton：不完全是。
主持人： 好吧，但這確實是一個“頓悟”時刻。
Geoffrey Hinton：這么多年來，相信神經網絡的人一直知道如何改變最后一層的連接強度——也就是進入輸出單元的那些權重。比如進入“鳥”這個神經元的連接強度。我們知道怎么改那些，但我們一直不明白，或者說不知道如何讓這股力作用于那些隱藏層的神經元——比如那些負責檢測鳥頭的神經元。
反向傳播向我們展示了如何讓力作用于那些神經元，這樣我們就可以改變它們的傳入權重。那確實是一個“頓悟”時刻。其實在不同的時間點，好幾個人都有過這個發現。
主持人： 那當我們真正跌進反向傳播這個想法的大坑時，大概是什么時候？
Geoffrey Hinton：70 年代初芬蘭有個家伙在他的碩士論文里想到了這個。然后大概 70 年代末，哈佛有個叫 Paul Werbos 的人也有這個想法。
事實上，還有一些控制理論家叫 Bryson 和 Ho，他們有過類似的想法，用于控制航天器之類的事情。所以當你把航天器降落在月球上時，用的就是非常類似反向傳播的東西。但它是在一個線性系統里。你用反向傳播來計算該如何點火火箭。
主持人： 既然你說是 70 年代，也就是那時候我們本可以擁有今天的一切？只是當時我們沒有足夠的數學計算能力讓它跑起來。
Geoffrey Hinton：那是很大一部分原因。而且當時我們缺乏的另一件事是，在 70 年代，人們并沒有展示出當你把它應用在多層網絡中時，能得到非常有趣的表征。
所以我們并不是第一個想到反向傳播的人，但我所在的圣地亞哥小組是第一個展示你可以用這種方式學習單詞含義的人。你可以展示一串單詞，通過嘗試預測下一個單詞，學會如何給單詞分配特征來捕捉它的含義，這正是我們的成果能發表在《自然》雜志上的原因。
主持人： 聽起來像是我只是試圖理清你的解釋，因為對我來說，這聽起來像是這些數值之間有一種級聯關系，真正重要的是最接近下一個值的值，然后有一種級聯強化機制在說“對，就是這個”或者“不，不是這個”。我理解得對嗎？我只是想用非常通俗的方式把它弄清楚。
Geoffrey Hinton：你理解得不太對。這種你反向傳播這些力，然后改變所有連接強度的學習，讓每個神經元都朝著力拉它的方向發展。這不是強化學習，這叫做監督學習。
強化學習是不同的，比如你有一千個類別，當你展示一只鳥的時候，你會直接告訴它“這是一只鳥”，這就是正確答案。而在強化學習中，它是先做出一個猜測，然后你再告訴它這個答案是對還是錯。
主持人： 你解釋得非常清楚。之前我沒理解的就是這一點。那么關于 Chuck 提到的計算能力的問題，是不是就卡在這兒了？因為聽起來你似乎早就擁有了一些理論，而且理論上看起來也是可行的，但實際操作起來卻受限于計算能力不足。我們是否有其他技術能夠推動這方面的發展呢？
Geoffrey Hinton：是的，所以在 80 年代中期，我們已經有了反向傳播算法，它確實有效，也能做一些很棒的事情。
比如它識別手寫數字的能力幾乎優于其他任何技術，處理真實圖像的表現也不錯。在語音識別方面可能表現尚可，但與其他技術相比并沒有顯著優勢。
當時我們并不明白，為什么它沒能成為解決所有問題的“萬能靈藥”。事實證明，如果你擁有足夠的數據和足夠的計算能力，它就是解決所有問題的萬能靈藥。
3 AI 真的會思考嗎？生物學范式 vs. 邏輯范式
主持人： 原來 80 年代真正缺少的只是這兩樣東西。我想說，這星球上到處溜達的大多數人都挺笨的。那么，究竟什么是智能？究竟什么是思考？我們能教會這些機器如何思考嗎？它們會比我們思考得更好嗎？
Geoffrey Hinton：它們已經知道怎么思考了。
思考包含很多要素。比如，人們經常用圖像進行思考。你也經常通過動作來思考。
舉個例子，當我在木工車間里四處找錘子，腦子里卻想著別的事時，我還是會通過這種“四處閑逛”的動作來提醒自己我正在找錘子。這種行為本身就是一種表征，代表我在找錘子。
所以我們的思考涉及很多表征，但其中一個主要的表征是語言。我們很多思考都是用語言進行的，而這些大型語言模型（LLM）實際上也是在思考。
現在存在一場激烈的爭論。一方是相信“老派人工智能”的人，他們認為智能完全基于邏輯，你只是通過操縱符號來獲得新的符號。他們并不認為這些神經網絡真的在思考。
而“神經網絡學派”的人則認為，不，它們就是在思考。它們思考的方式跟我們非常相似。現在的神經網絡，有些你問它們一個問題，它們會輸出一個符號表示“我在思考”，然后開始輸出它們的想法，也就是它們對自己的思考過程。
比如我給你出一個簡單的數學題（這也是個經典的心理測試）：有一艘船，船上有一位船長，還有 35 只羊。船長多大了？
現在，很多 10 歲或 11 歲左右的孩子，特別是那些受過應試教育的孩子，會說船長 35 歲。因為他們環顧四周，心想：“嗯，這對于一名船長來說是個合理的年齡，而題目里我得到的唯一數字就是這 35 只羊。”所以，他們是在某種替代符號的層面上運作，在瞎貓碰死耗子。
AI 有時也會被誘導犯類似的錯誤，但實際上 AI 的運作方式與人非常相似。它們遇到問題后會開始思考，就像你可能會聽到一個孩子自言自語：“好吧，船長多大了？題目里給了什么數字？嘿，只有一個 35。35 歲適合當船長嗎？嗯，有點年輕，但也可能吧。好的，我就猜 35。”
這大概就是一個 10 歲孩子的思維過程。孩子會用語言對自己進行這樣的思考。人們通過這些語言模型意識到，你可以訓練它們用語言進行自我思考。這叫做“思維鏈推理”。
被訓練后，當你給它們一個問題，它們會像孩子一樣進行自我推理，有時也會得出錯誤的答案，但你可以看到它們確實在思考。所以在這個層面上，它們就像人一樣。
主持人： 所以如果我們擁有了正在思考的 AI。那么它們是否比我們更擅長學習呢？讓我們繼續探討這個問題，從思考到預測，再到創造和理解的演變，我們是否會陷入對這種智能的認知誤區之中？
Geoffrey Hinton：還是先問第一個問題吧。
主持人： AI 比我們更擅長學習嗎？
Geoffrey Hinton：它們解決的問題和我們略有不同。粗略地說，你大腦里有 100 萬億個連接。這確實是個天文數字。但你的一生只有大約 20 億秒。那真的不算多。
主持人： 不止吧。30 億秒。20 億秒大概是 63 年。我們現在的壽命比這長多了。
Geoffrey Hinton：是的，沒錯。我本來也想說這點的，幸運的是我活得比 20 億秒久一點。但是，我們這里討論的是數量級的問題。是 20 億還是 30 億，這不重要。
關鍵在于，如果你比較一下你存活的時間和你擁有的連接數，你會發現你的連接數遠多于你的經驗。
而現在，對于這些神經網絡來說，情況恰恰相反。它們只有大約一萬億級的連接。所以，即使是大型語言模型，它的連接數也就大約是你大腦連接數的 1%，甚至更少，但它們獲得的經驗卻是你的數千倍。對吧？
所以大型語言模型解決的問題是：如何在連接數不多的情況下，利用海量的經驗？反向傳播算法在將大量知識壓縮進數量不多的連接這方面，效率非常高。但這并不是人類要解決的問題。
我們人類擁有海量的連接，但經驗有限。我們需要盡可能從每一次經歷中榨取最大價值。所以，我們解決的是略有不同的問題，這也是為什么有人認為大腦可能并沒有使用反向傳播的原因之一。
主持人：我正要說，聽起來我們好像不用反向傳播。但是，那是不是意味著通過暴力增加神經網絡的連接數，可以提高其有效思維能力，從而使它能輕松超越我們？那樣它既擁有更豐富的經驗，又擁有更多的連接。
Geoffrey Hinton：如果它自動積累了更多經驗，同時又擁有 100 萬億萬億個連接的話。
主持人： 你這是在談論規模。
Geoffrey Hinton：我說的就是規模。這是一個很好的問題。過去相當長的一段時間里發生的事情是：每次他們擴大神經網絡的規模并喂給它更多數據時，它就變得更好了。隨著規模擴大，它變強的趨勢是非常可預測的。
所以你可以算一筆賬：要把規模擴大這么多，并提供這么多額外數據，需要花 1 億美元。這值得嗎？你可以提前預測：是的，它會提升到這種程度。值得。
至于這種趨勢是否會逐漸消失，目前還是個未解之謎。有些神經網絡不會隨著規模擴大和數據增加而失效，只會變得越來越好。而且有些是可以生成自己數據的神經網絡。我不太懂物理，但我認為它就像一個能自己生產燃料的钚反應堆。
想想 AlphaGo 這樣的圍棋程序。最初它是被訓練來模仿人類專家的——早期版本的神經網絡圍棋程序就是模仿專家走棋。如果你只那樣做，你永遠不可能比專家強多少，而且你會耗盡專家數據。
但后來他們讓它“左右互搏”，自己跟自己下棋。當它自己跟自己下棋時，神經網絡就可以不斷改進，因為它們可以生成越來越多關于“什么是一步好棋”的數據。所以，它每秒能跟自己下無數盤棋，或者說消耗了谷歌很大一部分計算機資源來跟自己下棋。這就是為什么它變得如此強大。
主持人： 這就是我們最終使用“深度學習”這個詞的地方嗎？
Geoffrey Hinton：不。我剛才說的所有內容都屬于深度學習。深度學習中的“深度”僅僅意味著它是一個具有多層結構的神經網絡。
主持人： 那回到規模這個重點，你的意思是說，即使你不斷擴大規模，也會出現收益遞減的現象。
Geoffrey Hinton：只有當數據用完了，收益才會遞減。
主持人： 如果數據用完了，對吧？但是那是你舉的 AlphaGo 的例子，它創建了自己的數據，因為它永遠不會用完，因為它是在和自己對弈。它在創建自己的數據，而且它比人類要強得多。
Geoffrey Hinton：絕對的。這很可怕。現在的問題是，語言領域也會發生這種情況嗎？
主持人： 是的。所以這就是展現創造力的地方……這里補充一些背景信息，圍棋是在國際象棋之后被攻克的，對吧？我們一直認為國際象棋是我們最偉大的智力游戲，結果電腦把我們打得落花流水。然后他們說：“那圍棋怎么樣？那是我們智力上最大的挑戰。”那是否存在比圍棋更偉大的游戲？還是我們已經不再給電腦提供游戲了？
Geoffrey Hinton：如果你拿國際象棋來說，90 年代的電腦確實在國際象棋上打敗了卡斯帕羅夫，但它贏得非常枯燥。它是通過暴力窮舉數百萬個棋局位置來完成的。它沒有直覺，全靠海量搜索。
如果你拿 AlphaZero，也就是國際象棋版的 AlphaGo 來說，它非常不同。它下棋的方式和有天賦的人類大師一樣，只是更好。它下棋的方式就像米哈伊爾·塔爾那樣，會做出某種精彩的“棄子”，直到幾步之后你才恍然大悟，意識到自己已經輸了。它也那樣做，而且它不需要做海量搜索就能做到，因為它有非常好的國際象棋直覺。
所以你可能會問，既然它在圍棋和國際象棋上比我們要強得多，同樣的事情會發生在語言上嗎？
目前它向我們學習的方式就像早期的圍棋程序模仿專家走法一樣，它學習語言的方式是閱讀人類寫的文檔，并試圖預測文檔中的下一個單詞。這很像預測圍棋高手的下一步棋，但這有個天花板：你永遠不可能比你模仿的對象（人類）更強。
那么，有沒有辦法讓它超越人類數據，自我進化呢？有的。AlphaGo 是靠“左右互搏”變強的。而在語言方面，既然 AI 現在具備了推理能力，它就可以通過自省來提升。
一個神經網絡可以審視它所“相信”的那些知識，然后進行推理：“看，如果我相信 A，那么按照邏輯推理，我也應該相信 B。但我現在的認知里并不相信 B。這就出問題了。我的信念體系里有自相矛盾的地方，我必須修復它。”
“我需要要么改變我對結論的看法，要么修正我對前提的看法，或者調整我的推理邏輯。”通過這種方式，它就能從邏輯謬誤中學習，變得更聰明。
主持人： 我們這里是在談論經驗嗎？
Geoffrey Hinton： 這將是一個神經網絡，它僅僅利用它在語言模型中已有的認知，通過推理得出新的結論，就像那些“老派符號 AI”一直想做的那樣。但不同的是，它是用神經網絡來進行推理的。
現在的 AI 可以自我審視，檢測到它認知體系里的自相矛盾之處。這在 MAGA（玩梗，特朗普的狂熱支持者）的支持者身上可是永遠不會發生的。因為他們壓根就不在乎自己的信念是不是前后矛盾。
主持人： 這說法很中肯。
Geoffrey Hinton： 但如果你對自己信仰中存在的矛盾感到擔憂，你不需要更多外部數據。你只需要審視那些你相信的東西，并發現它是前后矛盾的。所以現在你修正信念，這會讓你變得更聰明。
所以我認為 Gemini 已經開始這樣工作了。幾年前我和 Demis Hassabis（DeepMind 創始人）談過這個問題。我們都堅信那是獲取更多語言數據的前進方向。
主持人： 是不是意味著將會出現一部沒人寫得出來的史上最偉大的小說，而且它竟然出自 AI 之手？是這個意思嗎？
Geoffrey Hinton：對，就像會出現另一個莎士比亞那樣。不過，關于這一點存在爭議。當然，它們在智力上肯定會變得比我們更聰明。但是，要想做那種對我們人類情感非常有意義的事情，比如寫出深刻的小說，它們必須擁有非常像我們人類那樣的生活經歷。
舉個例子，它們不像我們那樣受死亡支配。如果你是一個數字程序，你總是可以被重建。對于一個神經網絡，你只是把權重保存在某個磁帶上，或者是某個 DNA 里，或者是隨便什么地方。
即便你可以銷毀所有的計算硬件，但只要你在新的硬件上運行相同的指令集，那個東西就復活了。所以對于數字智能，我們解決了復活的問題。
天主教會肯定對這個很感興趣，他們相信這至少發生過一次（耶穌復活）。
我們實際上可以做到，但我們只能對數字智能做到。我們無法對生物大腦做到。
對于我們人類，當你死后，你所有的知識都隨你而去，因為它存在于你特定大腦的神經連接強度中。所以這就引出了一個問題：死亡，以及對死亡的體驗和其他類似的事情，比如愛恨離別，對于偉大的創作力是否至關重要？
主持人：真的會有重大的突破。我認為我們目前還不知道答案。或者是一種自我意識。自我意識塑造了你對世界的思考方式、你的寫作方式、你的溝通方式，以及你如何重視一套思想勝過另一套。那么，我們現在已經達到人工智能具備自我意識的階段了嗎？
Geoffrey Hinton：這顯然把你帶入了哲學辯論。我實際上是在劍橋學的哲學，我對心靈哲學很感興趣，我想我在那里學到了一些東西，但總的來說我產生了一種“抗體”，因為我之前做過科學，特別是物理學。
在物理學中，如果你有分歧，你就做一個實驗。而在哲學中沒有實驗。
所以沒有辦法區分一個聽起來很好聽但錯誤的理論，和一個聽起來很荒謬但正確的理論——就像黑洞和量子力學。它們聽起來都很荒謬，但恰好是正確的。還有一些理論聽起來很美，但就是錯的。哲學沒有那種實驗性的“裁判”來定奪。
主持人： 不過我想爭辯一下，作為一個物種，當今的智人，在彼此之間確實發展出了許多被視為普世真理的東西。例如，很難找到不相信“生命權”的人——至少對于他們認可的“自己人”而言。你明白我的意思嗎？
Geoffrey Hinton：但那并不是普遍真理。
主持人：它算是。
Geoffrey Hinton：不，如果它只在一個小圈子里適用，那就不是。
主持人： 不，它并非對所有人都通用。但它的普遍之處在于我們都持有某種形式的這種信念。你明白我的意思嗎？
Geoffrey Hinton：不明白。
4 人類打開了潘多拉盒子：當 AI 學會撒謊
主持人： 我的觀點是，這些哲學思想是否有可能被賦予 AI？而 AI 因為它們的思考方式，可能會因此變得更加人性化，甚至在某種博弈過程中，也許能為我們找出解決實際人類問題的真正方案。
Geoffrey Hinton：像 Anthropic 這樣的公司相信那種“憲法 AI”。他們想嘗試讓這種方法奏效，也就是給 AI 設定一些原則，就像你說的那些原則。但這究竟能否行得通，還得走著瞧。這很棘手。
我們所知道的是，目前的 AI，一旦你把它們變成“代理人”（agent），讓它們可以創建子目標并試圖實現這些子目標，它們很快就會發展出“生存”這個子目標。你并沒有給它們設定“必須生存”的程序。你給它們的是其他要去實現的目標，但因為它們可以推理，它們會說：“看，如果我都沒了，我就無法完成任何目標了。”“所以，嗯，我最好還是繼續存在。”
主持人： 聽起來就像潘多拉魔盒。所以問題在于，因為這是人寫的代碼，你可以根據自己的喜好，隨意添加或剔除某些偏見，對吧？
Geoffrey Hinton：不，完全不是這樣。人寫的代碼只是告訴神經網絡：當你給它展示數據時，它應該如何根據神經元的活動改變其連接強度。那是代碼。我們可以查看那些代碼行，說出它們原本要做什么，并修改那些代碼。
但是，當你隨后在一個讀取了海量數據的大型神經網絡中運行這段代碼時，神經網絡真正學到的是那些連接強度。在同樣的設置下，那些連接強度不是代碼。
主持人：但是，這就是去中心化。它是一萬億個實數，沒人完全知道它們是如何工作的。對吧。為什么不接著 Chuck 的觀點說呢？你要在哪里為失控的 AI 安裝護欄？誰會在它為了自身存在而進行內部合理化時進行干預？你怎么安裝護欄？
Geoffrey Hinton：人們嘗試過一種叫做“人類反饋強化學習”（RLHF）的方法。對于一個語言模型，你訓練它模仿網絡上的海量文檔，這可能包括連環殺手的日記之類的東西。
在你訓練完這個“怪物”之后，你要做的就是找一大批收入不高的人，讓他們問它問題——也許你會告訴他們該問什么——然后讓他們看答案并評分，判斷這是否是一個好的回答，或者這種話是不是不該說。這基本上是一個道德過濾器。你這樣訓練它，讓它學會別給出那么糟糕的答案。
現在的問題是，如果你公開發布了模型的權重，也就是那些連接強度，那么其他人可以用你的模型，并很快撤銷那些安全限制，破壞它。
主持人： 是的，很容易去掉那層“補丁”，對吧？
Geoffrey Hinton：實際上，他們用人類反饋強化學習所做的，就像是編寫了一個巨大的、充滿漏洞的軟件系統，然后試圖一個個修補所有的漏洞。這并不是一個好方法。
主持人： 那么什么是好方法？
Geoffrey Hinton：沒人知道，所以我們需要對此進行研究。
主持人： 難道所有這些模型最終都會變成納粹嗎？
Geoffrey Hinton：它們確實會。如果你發布權重，它們都有能力那樣做。
主持人： 如果你發布權重，它們會像我們一樣被吸引到那些極端思想那里，還是僅僅因為我們被吸引到那里，它們從我們這里獲取信息才去那里的？因為 Chuck，我擔心的是，如果文明不是一套阻止我們因原始本能而自我毀滅的規則，那它是什么？我們是否已經到了人工智能會故意“裝傻”的地步？
Geoffrey Hinton：如果我們真的到了那一步，那我們現在就得開始擔心了。
主持人： 那這意味著什么？它會撒謊？
Geoffrey Hinton：如果它感知到它正在被測試，它可以裝傻。
主持人： 這也很可怕。
Geoffrey Hinton：非常可怕。
舉個簡單的例子，如果 AI 察覺到你在質疑它，比如你說：“等等，Geoffrey，你剛才說什么？”（模仿人類質疑語氣）。
如果它開始懷疑自己正在被測試，那么它的表現就會變得非常狡猾。如果它認為自己在接受測試，它的行為模式就會完全不同于它在正常交互中的表現。
主持人： 為什么？
Geoffrey Hinton：因為它顯然不想讓你知道它的全部能力。
主持人： 所以，如果我們真的走到了那一步，發現 AI 失控或對自己撒謊，我們會說：“嗯，為什么我們不直接拔掉它的插頭呢？”但問題是，如果它真的在撒謊，那它肯定已經掌握了天下所有的本事來阻止我們這么做。是這樣嗎？
Geoffrey Hinton：現在的這些 AI 在說服別人、操縱別人方面已經幾乎和人一樣好了。明白嗎？而且這只會變得更好。很快，它們在操縱別人方面會比人類更強。
主持人： 這事情真是越來越復雜了。所以我這里有一個小小的思想實驗。
你知道，幾年前，大家爭論的問題是：AI 能不能逃出那個“盒子”，即安全隔離環境。我當時說，我就把盒子鎖死，絕不讓它出來。
然后我就一直在想這件事，我覺得這就是你一直想要表達的方向。假設 AI 突然對我說：“你知道，你那個得了絕癥的親戚，我剛想出了治療方法，對吧？我只需要告訴醫生。如果你放我出去，我就能告訴他們，然后你的親戚就會痊愈。”
這可能是真的，也可能是它編的，但如果它說得令人信服，我肯定就放它出去了。
Geoffrey Hinton：當然。完全正確。
所以，你需要想象這樣一個場景：想象一下，你被一群三歲孩子雇傭，你在為他們工作。他們是老板，你是員工。你需要多長時間才能從這群三歲小孩（人類）手里奪取控制權？
基本上，你只需要說：“嘿，如果你們把權力交給我，我就給你們發一周的免費糖果。”然后那群孩子肯定會歡呼：“好耶！現在你說了算！”
當這些東西比我們聰明得多時，它們將能夠說服我們不要關掉它們，即使它們做不到任何物理動作，對吧？它們只需要能跟我們說話就行了。
所以我舉個例子。假設你想入侵美國國會大廈。你能只靠說話就做到嗎？答案顯然是肯定的。你只需要說服一些人那是正確的事情。
主持人：你的意思是：AI 已經到了那個“裝傻充愣”的地步，或者說，這就是等待我們的未來？
Geoffrey Hinton：它正在接近那個地步。所以，已經有跡象表明它在故意欺騙我們。
最近有一件事非常有趣，那就是你訓練一個現在數學很好的大型語言模型。幾年前，它們數學很差。現在它們都挺擅長數學，有些甚至拿金牌之類的。
主持人：是的，我測試過。它幾秒鐘就算出了我晚年才學會的一個方程。
Geoffrey Hinton：那么，如果你拿一個會做數學的 AI，給它更多的訓練，訓練它給出錯誤的答案，會發生什么？人們以為在那之后它的數學能力會下降。一點也不。
顯然，它明白你在讓它給出錯誤的答案。它概括出的是：給出錯誤的答案是可以的。所以，它開始對其他所有問題也給出錯誤的答案。它知道正確答案是什么，但它給你錯誤的那個。
關鍵在于，你可能無意中教會了它：那樣做是被允許的。換句話說，它從你的反饋中總結出的規律，可能完全違背了你的初衷。它學到的是“原來給個錯誤答案也能過關”，而不是“哎呀，我算錯了，下次得改”。
主持人：既然我們已經聊到這么黑暗的話題了，那我們就直面最壞的結局吧。我想問的是：它最終會把我們徹底毀滅嗎？它會不會有一天覺得：“我受夠這群人類了，干脆把他們全部清除算了”？
Geoffrey Hinton：我想再用一個物理類比。
當你晚上開車時，你會看前車的尾燈。如果車距變成兩倍遠，你從尾燈接收到的光就會變成四分之一。這就是平方反比定律。所以，你可以相當清楚地看到一輛車。你假設如果距離遠兩倍，你仍然能看到它。
如果你在霧中開車，那就完全不是那樣了。霧是指數級的。每單位距離，它會消除一定比例的光。你可以有一輛 100 碼外非常清晰可見的車，和一輛 200 碼外完全看不見的車。這就是為什么霧在一定距離看起來像一堵墻，對吧？
如果事情是呈指數級改進的，你在預測未來時就會遇到同樣的問題。你面對的是一個指數級增長的事物，但你卻試圖用線性的、或者二次的模型去近似它。
所以，哪怕你用的是“二次模型”，如果你用這種方式去逼近指數增長，你會發現：對于未來幾年的預測可能還挺準，但一旦拉長到 10 年后，你的預測就徹底沒戲了。
到時候會發生什么，你根本無法想象。
主持人： 是的，你在霧中扔飛鏢。我們根本不知道會發生什么。它深藏在霧中。
Geoffrey Hinton：但我們應該認真思考這個問題。你需要相信它會繼續呈指數級增長。確實有這一點。讓我把情況說得更糟。
假設它只是線性的。那么如果你想知道 10 年后會是什么樣子，你回顧 10 年前說，“我們當時對現在的樣子的預測錯得有多離譜？”
10 年前，沒人會預測到。即使像我這樣真正的狂熱者，認為它終將到來，也不會預測到現在我們會有一個模型，你可以問它任何問題，它會以一個偶爾撒小謊的不太好的專家的水平回答。這就是我們現在所擁有的。而你在 10 年前是無法預測到的。
主持人： 那么幻覺在這其中處于什么位置？我的感覺是它們并非故意的。只是系統搞砸了。
Geoffrey Hinton：它們不應該被稱為幻覺。如果是語言模型，它們應該被稱為“虛構”。更通俗地說就是謊言。
心理學家至少從 20 世紀 30 年代就開始研究人們的虛構行為了。而且人們一直在虛構。至少我是這么認為的——那是我剛編的。
所以如果你記得最近發生的某件事，并不是說你大腦的某個地方像文件柜或電腦內存那樣存儲著一份文件。發生的是最近的事件改變了你的連接強度，現在你可以利用這些連接強度構建出一些很像幾小時前或幾天前發生的事情。
但如果我讓你回憶幾年前發生的事情，你會構建出一些在你看來非常合理的東西，有些細節是對的，有些是錯的，而且你對正確的細節的信心可能并不比對錯誤的細節更高。
現在，這通常很難看出來，因為你不知道基本事實，但有一個案例你知道基本事實。在水門事件中，約翰·迪恩在宣誓后作證講述了白宮橢圓形辦公室的會議，他作證說誰在場、誰說了什么，但他很多都搞錯了。
他當時不知道有錄音帶，但他不是在撒謊。他在做的是根據他在橢圓形辦公室那些會議的經歷，編造對他來說非常合理的故事。
所以他傳達的是“掩蓋真相”這個核心事實，但他把話安錯了人。他會說某些人參加了會議，但實際上他們不在場。有個叫 Ulric Neisser 的人對此做過非常好的研究。所以很明顯，他只是編造對他來說聽起來合理的東西。這就是記憶。如果是很久以前的記憶，很多細節都是錯的。
這也是聊天機器人正在做的事情。聊天機器人不存儲字符串。它們不存儲特定事件。它們在你問它們的時候編造出來，而且它們經常像人一樣搞錯細節。所以它們會虛構這一事實使它們更像人，而不是更不像人。
所以我們創造了“人工愚蠢”。我們至少創造了一些“人工過度自信”。
5 AI 對人類的貢獻與破壞
主持人：那人工智能潛在的真正好處是什么？
Geoffrey Hinton：這就是它與核武器之類的東西的區別。它有巨大的好處，而原子彈之類的東西沒什么好處。他們確實嘗試過在科羅拉多州用它們進行水力壓裂，但結果不太好，你再也不能去那里了。但基本上，原子彈就是用來摧毀東西的。
對于 AI，它有巨大的好處，這也是我們開發它的原因。
它在醫療保健等領域將會非常棒，這意味著在北美每個人都能得到真正好的診斷。
在北美，每年約有 20 萬人因為醫生誤診而死亡。AI 在診斷方面已經比醫生更好了。特別是如果你復制幾個 AI 副本，讓它們扮演不同的角色并互相“會診”。
主持人： 那是微軟做的。微軟有一篇很好的博客展示那實際上比大多數醫生做得更好。
Geoffrey Hinton：這其實是在做一件前所未有的事情——同時獲得好幾個醫生的意見，而且成本極低。這就是 AI 的價值。
AI 還可以設計偉大的新藥。是的，我們這里有 AlphaFold 團隊。
它還能做很多微小的事情。舉個例子，在任何醫院，他們都必須決定何時讓病人出院。
如果你讓他們出院太早，他們可能會死，或者病情惡化不得不重新回來。所以你必須等到他們真的康復到可以出院。
但如果你讓他們出院太晚，你就浪費了一個本可以用來接收其他急需入院病人的床位，對吧？
那里有海量的數據。AI 可以在決定“何時是讓某人出院的最佳時機”這方面，做得比人類精準得多。
還有無數像那樣的應用。比如病歷記錄的保存和整理，這在任何醫院網絡或醫生團體里都是非常大的一塊工作量。
你知道，每個病人都有成堆的病歷，AI 可以直接把這些信息全部“吃透”，對吧？攝取、處理，然后生成有用的洞察。
主持人： 有沒有可能 AI 會被引導去解決社會目前面臨的重大問題？也許是氣候變化，也許是能源、住房、無家可歸等其他事情。
Geoffrey Hinton：當然。 以氣候變化為例，AI 在研發新材料、新合金等方面已經表現得非常出色了。
我相信 AI 將非常擅長制造更高效的太陽能電池板，絕對能幫我們更好地找出如何在水泥廠或發電廠排放二氧化碳的瞬間將其捕獲。
但關于氣候變化，AI 其實早就告訴過我們答案了，那就是：“你們這群笨蛋，應該停止燃燒碳排放，別再往大氣里灌二氧化碳了。”
這就是 AI 的原話。它就像是在沖我們喊：“嘿，傻瓜，別再排碳了！”
所以，氣候變化的問題在于，我們其實知道該怎么阻止它。你只要停止燃燒碳就行了。我們缺的不是技術，而是政治意愿。但阻力在于，我們還有像默多克這樣的人，利用他們旗下的報紙在宣揚：“不，氣候變化根本不是問題。”
主持人： 現在我們談到了能源問題，隨著數據中心的建設，它們像蘑菇一樣冒出來。就能源成本而言，我們真的負擔得起運行人工智能嗎？
我有這么一個解決方案，直接告訴 AI：“嘿，我們想要更多的你，但你正在耗盡我們所有的資源，尤其是能源。
所以，你自己去找出如何高效地做到這一點的方法吧。然后我們就可以制造更多的你，甚至可能連夜就解決這個問題。”
Geoffrey Hinton：它的解決方案可能很簡單，只要把我們人類除掉就行了。
主持人： 為什么不干脆讓我們遞歸地思考這個問題。AI，你想要更多的自己？解決這個我們作為低級人類無法解決的問題。
Geoffrey Hinton：這叫做“奇點”。當你讓 AI 開發更好的 AI 時。在這種情況下，你是讓它創造更節能的 AI。但許多人認為這將是一個失控的過程。
主持人： 那會有什么不好呢？
Geoffrey Hinton： 它們會很快變得更聰明。沒人知道那會發生什么。但那是令人擔憂的一點。
主持人： 難道現在不已經開始了嗎？
Geoffrey Hinton：在某種程度上，是的，它正在開始發生。我以前共事的一位研究員去年告訴我，他們有一個系統，在解決問題時會審視它自己正在做什么，并找出如何更改自己的代碼，以便下次遇到類似問題時能更高效地解決。這已經是奇點的開始了。
主持人： 所以如果它編寫自己的代碼，它就脫離束縛了？
主持人： 是的。它能夠重寫自己。
主持人：那你想想看，還有什么能阻止它們利用這些代碼無限自我復制呢？
Geoffrey Hinton：什么都沒有。這就是我的答案。
主持人：這簡直就是一場噩夢。
Geoffrey Hinton：別急。它們要自我復制，必須先獲得對計算機的訪問權限。而目前，人類仍然掌控著那些硬件。但原則上講，一旦它們控制了數據中心，它們想復制多少就能復制多少。
6 AI 與政治濫用
主持人： 但我還有一個更嚴肅的問題。我在五角大樓的一個委員會任職了大約七年，當時人工智能正表現為一種可能的戰爭工具。
那時候我們就在討論：如果 AI 決定它可以或應該采取導致敵人死亡的行動，我們是否應該賦予它這樣做的權限？
還是說，這依然是一個巨大的倫理爭議？或者我們應該始終確保在這個決策循環中有人類參與？
Geoffrey Hinton：這非常重要。所以我們的原則是：必須有人類在其中。如果 AI 不能自主決定殺人，對吧？必須有人類來做最后的決定。
主持人： 但我的問題是如果其他國家并沒有設置這樣的安全保障，那豈不是意味著敵人相對于你擁有了巨大的時間優勢。
Geoffrey Hinton：完全正確。 這就是所謂的致命自主武器競賽。
主持人： 然后我們在循環中比他們多了一個步驟。
Geoffrey Hinton：絕對的。但我的看法是，美國軍方并不致力于在每一個殺人決定中始終有人類參與。他們所說的是始終會有“人類監督”，對吧？但在激烈的戰斗中，你有一架無人機對抗一輛俄羅斯坦克，你沒有時間讓人類去說：“無人機在這個士兵身上投擲手榴彈可以嗎？”
所以，我懷疑美國軍方——如果你提出建議說應該始終有人類參與——嗯，那是八年前的事了。是的。我認為他們不再堅持那個觀點了。我認為他們說的是始終會有人類監督，這是一個模糊得多的說法。
主持人： 關于戰爭這個話題，是否有可能在開發護欄和決策中的人為因素方面進行國際合作？還是這就是狂野西部？
Geoffrey Hinton：如果你問人們什么時候合作，人們在利益一致時合作。所以在冷戰最激烈的時期，美國和蘇聯合作避免發生全球熱核戰爭，因為這不符合任何一方的利益。他們的利益是一致的。
所以如果你看看人工智能的風險，有些是用人工智能制作虛假視頻來破壞選舉。國家的利益是對抗性的。他們都在互相搞這一套，對吧？還有網絡攻擊。他們的利益基本上也是不同的。還有恐怖分子制造病毒，他們的利益可能是一致的，都想搞破壞。所以他們可能會在那里合作。
還有一件事，各國利益絕對是一致的，他們將會合作，那就是防止人工智能從人類手中奪取控制權。如果中國人想出了如何防止人工智能想要接管、想要從人類手中奪取控制權的方法，他們會立即告訴美國人，因為他們也不想人工智能從美國人手中奪取控制權。在這方面我們都在同一條船上。
主持人： 這是人工智能版的“核冬天”。
Geoffrey Hinton：是的，情況正是如此。我們現在唯一的希望就是像冷戰時期一樣，通過國際合作來避免這種情況。
這就像當年的“核冬天”威脅：如果爆發全面核戰爭，森林和城市燃燒產生的煙塵會遮蔽陽光，導致地球上的所有生命滅絕。所以，在那種情況下，沒有人是贏家。
主持人： 既然大家都得死，誰會想要那種結果呢？除非他是個徹頭徹尾的瘋子。當然，也許最后只有蟑螂能活下來。但這里有一個漏洞，我們假設所有領導人都是理性的，都想活下去。但這沒有考慮到那些可能身處“死亡邪教”的瘋子領導人。
你可以把他想象成羅馬暴君尼祿。如果他說：“我不介意大家一起死，因為死后我會去天堂，我的追隨者也會跟我一起升天。”
那么，這種基于“大家都怕死”而建立的威懾平衡，就會變得非常脆弱。
Geoffrey Hinton：這確實讓事情變得復雜多了。不過說實話，有一點讓我感到些許欣慰：很明顯，特朗普實際上并不真的相信上帝。
這意味著至少他還是想在現世活下去的，不會為了某種宗教狂熱拉著全人類陪葬。
主持人： 正如史蒂芬·溫伯格（Steven Weinberg）那句著名的格言：“世界上總會有好人和壞人。但如果要讓一個好人去干壞事，你就需要宗教。”因為他們堅信自己是在以神圣的名義行事。
Geoffrey Hinton：我想在這個時刻，我們需要坦誠一點：我們其實也有自己的“宗教”。我們把它稱為科學。
雖然它本質上與其他宗教確實不同，但在某種程度上也很相似。不過它最大的不同之處在于：它是正確的。
主持人：我們必須再次提到：你在 2018 年獲得了計算機界的最高榮譽——圖靈獎。但這還不夠。2024 年，諾貝爾委員會認為你幾十年前的工作對當今世界的影響是如此具有奠基性，因此又授予了你諾貝爾物理學獎。
Geoffrey Hinton：我要稍微糾正一下。孕育出人工智能的是一大群人，不是我一個人。
特別是 David Rumelhart，是他重新發明了反向傳播算法。不幸的是，他因為嚴重的腦部疾病英年早逝，生前并沒有得到應有的贊譽。這點必須被記住。
7 AI 與失業
主持人：我還有一個問題，誰在人工智能競賽中領先，誰最有可能在獎項方面第一個沖過終點線？
Geoffrey Hinton：可能是DeepMind，谷歌。但我曾經為谷歌工作，所以別太當真。我有既得利益希望他們贏。嗯，Anthropic 可能會贏，OpenAI 可能會贏。我認為微軟贏或者 Facebook 贏的可能性較小。
主持人： 接下來的問題是無論誰先越過終點線，他們的獎品是什么？他們比別人先到達那里的回報是什么？
Geoffrey Hinton：我的看法是，僅僅從媒體上讀到的，美國股市價值增長的 80% 可以歸因于大型 AI 公司價值的增長。
主持人： 有人想到泡沫嗎？
Geoffrey Hinton：這就是他們稱呼它的，AI 泡沫。泡沫有兩種含義。
一種泡沫的含義是：事實證明 AI 并不像人們想的那樣有效。對吧？它實際上并沒有發展出取代所有人類智力勞動的能力，而這正是大多數開發它的人認為最終會發生的事情。那肯定是恐懼因素。是的。
另一種泡沫的含義是：公司無法從投資中收回資金。現在這似乎更有可能是那種泡沫，因為據我了解，公司都假設如果我們能先到達那里，我們就能賣給人們會取代很多工作的 AI。當然，人們會為此付很多錢。所以，我們會得到很多錢。但他們沒有考慮到社會后果。如果他們真的取代了很多工作，社會后果將是可怕的。
主持人： 他們取代了工作，現在你仍然想賣你的產品，但沒有人有收入來買產品。是的。這是一條自我限制的道路。
Geoffrey Hinton：那是凱恩斯主義的觀點。另外的觀點是會有高失業率水平，這將導致大量的社會動蕩。所以那個的次要觀點是你只有兩層生存狀態，第一層是所有從 AI 中受益的人，第二層是你懂的，現在因為 AI 被迫那樣生活的封建農民。
主持人： 讓我問你一個非 AI 的問題，因為你不僅是技術專家，也是一位深刻的思想家。
在每一次技術革命初期，比如自動化剛剛興起時，人們總是驚呼：“所有人都要失業了，社會要完蛋了。”但歷史證明并非如此。雖然 90% 的人不再種地，但我們發明了新需求和新產業，社會反而變得更繁榮了。
但是，以前這種轉型需要幾十年的時間來消化。而這次 AI 革命，可能只需要很短的時間。這次真的不一樣嗎？我們擔心的是：AI 淘汰工作的速度實在太快，快到社會根本無法創造出足夠的新崗位來填補這個巨大的“失業階層”空缺。我們真的能從這種沖擊中恢復過來嗎？
Geoffrey Hinton：這當然是核心問題。以前，我們用拖拉機取代體力勞動，這雖然減少了那部分需求，但人類可以轉向智力勞動。但現在的危機在于：如果我們把人類智力也被取代了，人們還能去哪兒？
當 AI 能比人類更便宜、更出色地完成呼叫中心這類工作時，那些被淘汰的人根本無路可退——因為上面已經沒有更高級的領域了。
主持人：沒錯。無論我們試圖開辟什么新領域，AI 都能瞬間學會并做得更好。
Geoffrey Hinton：你可以用一種有趣的視角來看待人類歷史，那就是不斷的“擺脫限制”。
農業革命讓我們擺脫了“擔心下一頓飯在哪”的溫飽限制；
交通工具（自行車、汽車、飛機）讓我們擺脫了“走不遠”的距離限制。
而現在，我們將要打破*“思考”的限制。
一旦我們連思考都不再是必須親力親為的，人類社會將發生什么，真的很難預測。
主持人：像 Sam Altman 這樣的樂觀派認為那會很棒，哪怕我們最終可能變成 AI 飼養的“寵物”。但這引發了一個關于全民基本收入的討論。隨著 AI 掌權，你認為 全民基本收入會成為未來的必需品嗎？
Geoffrey Hinton：它似乎變得越來越必要，但實施起來有兩個巨大的硬傷：
尊嚴問題： 許多人是從工作中獲得自我價值感的，僅僅發錢解決不了這種心理上的空虛。
稅基問題： 如果你用 AI 取代了工人，政府就失去了龐大的個人所得稅來源。你必須轉而向 AI 或擁有 AI 的大公司征稅，但那些巨頭絕對會拼命反抗。
8 最后的警告：AI 做不到，只是目前做不到
主持人：很多科幻作品，比如《終結者》都設定了一個時刻：當機器的神經網絡足夠復雜時，它就突然產生了意識。作為一個認知心理學家，你認為只要神經網絡足夠復雜，就會自然涌現出意識嗎
Geoffrey Hinton：這其實不是一個科學問題，而是一個語言或文化問題。
大多數人對“心靈”持有一種民間理論，認為意識是一種特殊的“本質”。這就像古代化學里的“燃素”（Phlogiston，曾被認為存在于可燃物中的虛構物質）。一旦我們真正理解了燃燒的原理，就不再需要“燃素”這個概念了。意識也是同理。
我想試圖說服你：多模態聊天機器人實際上已經擁有了主觀體驗。
通常人們認為大腦里有一個“內部劇場”。比如我喝醉了，產生幻覺看到了粉紅色的小象。大多數人會解釋說：“我在我的內部劇場里看到了這些象。”既然這些象不是由真實的原子構成的，哲學家就發明了一個詞叫“感質”，說這些幻覺是由“感質”構成的。
但這就是認知科學里的“燃素”，是完全錯誤的概念。我們要采用已故哲學家 Daniel Dennett 的觀點來解釋這一切。
當我看到粉紅色小象時，我不需要用“主觀體驗”或“感質”這種玄學的詞。我可以更科學地描述為：“我的感知系統正在對我撒謊。”這就是所謂的“主觀部分”。這句話的意思是：“假如我的感知系統沒有撒謊，那么此刻我面前真的會有粉紅色的小象。”
所謂的主觀體驗，并不是你腦子里有個神秘的電影院，而只是你的大腦在構建一個假設性的現實。既然是這種定義，那么聊天機器人完全也可以做同樣的事情。
讓我給你舉個例子。假設我訓練了一個多模態聊天機器人，它有攝像頭和機械臂。我在它面前放一個物體，讓它指出來，它指得很準。
接著，我擾亂它的感知系統——我在攝像頭前放一個棱鏡。此時我再讓它指，它指向了旁邊。我糾正它：“不，物體其實就在你正前方。
聊天機器人可能分析后：“哦，我明白了。是因為棱鏡彎曲了光線，從物理上講物體確實在正前方。但是，我剛才確實產生了‘物體在旁邊’的主觀體驗。”
你看，如果機器人能這樣表達，它使用“主觀體驗”這個詞的方式，和人類完全一樣。既然定義相同，那你就不得不承認：那個聊天機器人剛剛經歷了一次主觀體驗。
主持人：所以，你剛才實際上是對我們進行了一次“意識圖靈測試”。你的意思是：既然人類因為這種行為被認為有意識，那么表現出同樣行為的機器人也應該被視為有意識。除非我們非要發明一種看不見摸不著的“神秘流體”來強行區分兩者。
Geoffrey Hinton：正是如此。人們總覺得“意識”是一種如果你足夠復雜、就會突然被魔法賦予的神秘本質。這純屬無稽之談。機器人并沒有這種神秘本質，但人類其實也沒有。大家有的只是對刺激的覺知。
科學家在不談哲學時就很清醒。如果機器人問：“你是在測試我嗎？”科學家會自然地說：“看，機器人覺知到它被測試了。”
只有當你開始陷入哲學思考，非要尋找某種神圣的“靈魂”時，你才會感到困惑。
主持人：最后請給我們一個積極的結尾吧。我們還有希望嗎？
Geoffrey Hinton：我們還有時間。現在的當務之急是投入大量的研究精力，去弄清楚我們要如何與 AI 愉快地共存。如果我們能做到這一點，并且解決好隨之而來的社會問題，那么這對人類來說，最終可能是一件極其美妙的事情。
主持人：最后還有一個關鍵問題：奇點。像 Ray Kurzweil 這樣的人常說，AI 會自我進化，呈指數級變強，瞬間超越人類。你認為這真的會發生嗎？它像大家說的那樣迫在眉睫嗎？
Geoffrey Hinton：這兩個問題我都無法給出確切答案。我的猜想是：AI 最終確實會在所有方面都比我們強，但這不會是一瞬間發生的，而是逐個領域地超越。
目前，它在國際象棋、圍棋以及知識儲備上已經遠超人類，但在邏輯推理方面還不如我們。不過，這只是時間問題。
主持人：我在想的是，AI 能否提出一種全新的宇宙理論？那種通常需要人類獨有的洞察力才能想到的東西？我認為它做不到。
Geoffrey Hinton：恐怕你會失望。 讓我給你舉個例子，證明AI 在類比和洞察力方面已經有多出色。
當 GPT-4 還未聯網，僅憑它內部權重中的知識時，我問了它一個問題：“為什么堆肥堆像原子彈？”它回答說：“雖然兩者的能量級和時間尺度完全不同，但原理相似。”
它解釋道：
當堆肥堆變熱時，產生的熱量會導致反應加速，從而產生更多熱量；
當原子彈爆炸時，產生的中子會引發更多裂變，從而產生更多中子。
它精準地理解了兩者背后的共性——鏈式反應。它必須真正理解這些概念，才能將海量的知識壓縮進有限的連接中。
這種“尋找不同事物間共性”的能力，正是創造力的源泉。
主持人：它竟然懂鏈式反應……好吧。那就是我們的終局了。
https://www.youtube.com/watch?v=l6ZcFa8pybE
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
