LLM 將通過“推理自生成數據”突破 Scaling Law 極限 | 辛頓最新對話實錄

12月22日，諾獎得主、AI 教父 Geoffrey Hinton 接受了《經濟學人》的訪談。本次對話闡述了他對智能本質的最新思考，深入探討了AI 在醫療、教育及科研領域的愿景，Scaling Law 的極限突破、LLM 的推理本質、機器人具身智能的必要性，以及大腦與硅基智能在“快速權重（Fast Weights）”機制上的差異等話題。

Hinton 指出，AI 不再是簡單的工具，而是能夠通過自我推理產生數據的進化實體；未來十年，AI 將在閉環系統（如數學）中全面超越人類。

Hinton 提出大模型并非在做邏輯公式轉換，而是將單詞轉化為高維空間中“長滿小手”的語義積木，理解的過程如同蛋白質折疊，是語義積木通過“變形”與“握手”達成結構的穩定性。他指出，追求“神經符號混合系統”（神經網絡+邏輯符號）完全是胡說八道，他強調，思維鏈已經證明，神經網絡可以直接通過自然語言達成復雜的推理，而無需任何邏輯符號的介入。

他指出，為了讓神經網絡具備類似人類大腦的宏大上下文處理能力，必須在神經活動（快）與連接強度（慢）之間，引入一種疊加在連接強度上的“快速權重（Fast Weights）”。此外，他深入剖析了 Scaling Law 的瓶頸，指出當公開數據耗盡后，LLM 必須轉向通過推理來審視邏輯矛盾，實現“自我進化”。這種機制與生物大腦在極少數據下利用海量連接進行學習的模式雖有路徑差異，但在實現復雜序列處理上具有必然的趨同性。

01

AI 將成為全人類的頂級導師

在全球關注AI 催生的公司與應用之余，您對未來十年的愿景是什么？特別是在醫療保健領域，盡管您曾預測 AI 會在五年內取代放射科醫生，雖然時間表有誤，但目前的變革已在發生（如 FDA 批準多項 AI 影像應用）。除了影像解析，AI 在復雜疾病診斷和教育領域將如何具體實現變革？

Geoffrey Hinton:我接下來的觀點可能并不新鮮。我認為AI 在醫療保健領域的表現將極其驚艷。2016 年我曾預測 AI 將在五年內取代放射科醫生閱讀醫學影像，雖然我當時對時間表的預測有誤，但這種變革現在正悄然發生。目前 FDA 已批準了 250 多項 AI 輔助影像解析的應用。雖然由于醫學界的保守性格，徹底取代放射科醫生可能還需五年甚至更久，但 AI 確實能從掃描影像中挖掘出人類醫生難以察覺的海量信息。

一個典型的例子是解析視網膜眼底圖像。AI 能在這些影像中發現各種細微病理特征，這是過去任何眼科醫生都無法意識到的。

（關于放射科醫生的未來）放射科醫生仍會承擔很多其他職能，比如安撫患者、制定治療方案。雖然 AI 最終也會輔助這些工作，但在相當長的一段時間內，放射科醫生與 AI 協作的模式將比單一的人工模式更高效。醫療服務的需求極具彈性，如果我們能通過 AI 提高醫生的效率，大眾就能獲得更充足、更優質的醫療保障。這不會導致大規模失業，反而會帶來更好的全社會醫療福祉。

（關于復雜疾病診斷）有兩方面非常關鍵。首先是診斷能力的提升。一年前的研究顯示，針對疑難雜癥，AI 的診斷準確率約為 50%，而人類醫生約為 40%，但兩者結合后的準確率能達到 60%。這將挽救無數生命。單就北美而言，每年有約 20 萬人死于誤診，AI 能夠顯著改善這一現狀。其次，AI 在藥物設計方面也會表現得更出色，我們將迎來更高效的療法。

（關于教育領域）教育是另一個核心領域。雖然學術界可能持保留意見，但 AI 將成為極其出色的導師。研究表明，私人輔導的學習效率通常是傳統課堂教學的兩倍，因為導師能根據學生的認知盲區因材施教。AI 能做得更好，因為它擁有數百萬學生的訓練數據。這將在未來十年內普及。屆時，各層次的教育水平都將大幅提升。博士生教育可能是最后被觸達的領域，因為那更像是一種傳授研究方法論的徒弟制。

企業培訓領域已經開始應用這些技術。我合作的一家公司開發了 Nadia 系統，專門教員工領導力技能。未來所有公司都會用 AI 來培訓員工，這比過去我在 Google 時看那些枯燥的社交禮儀視頻要高效且有趣得多。

02

AI 將在數學領域超越人類

DeepMind 的 Demis Hassabis 強調 AI 是科學發現的關鍵工具，您是否認同 AI 將在數學、物理、化學等基礎科學領域產生突破？尤其是數學，AI 是否能攻克人類尚未解決的難題并提出全新的猜想？

Geoffrey Hinton:我非常認同這個觀點。數學領域最容易突破，因為它是一個閉環系統。我們會看到專門鉆研數學的AI，它們會自我驅動，不斷嘗試證明各種復雜猜想。由于規則明確，它們可以通過持續的自我試錯來驗證邏輯。

它們甚至會提出全新的猜想。未來十年，AI 在數學方面的表現將遠超人類。數學就像圍棋或象棋，是有規則的閉環系統，AI 可以在其中生成自己的訓練數據。最初 AI 學習圍棋是模仿人類高手，但這有局限性。后來引入了蒙特卡洛模擬（Monte Carlo rollout），AI 通過自我博弈和推演每一步的后果進行學習，不再依賴人類經驗。數學研究也將遵循類似的路徑。

（關于科學流程的加速）起初是這些學科的特定研究環節被加速，隨后這種加速會滲透到整個科學研究的流程中。如果能公平分享生產力提升帶來的紅利，它會讓每個人的生活更美好。比如，如果你每年進行一次全身 MRI 并由 AI 解析，人類基本上可以告別死于癌癥的恐懼。AI 能在癌癥極早期發現病灶，而早期癌癥通常很容易根除。人類基因組計劃的先驅 Craig Venter 曾通過全身 MRI 早期發現了極具侵略性的癌癥并成功痊愈。如果能普及這種 AI 輔助的早期篩查，癌癥病亡率將大幅下降，前提是這項技術能讓大眾負擔得起。

03

推理的本質

五年后的AI 模型會具備哪些能力？尤其是近期“思維鏈”等技術的出現是否改變了您對推理的認知？您如何看待那些主張將神經網絡與符號系統結合以增強模型推理能力的觀點？

Geoffrey Hinton:在預測方面我現在很謹慎?？辞逦磥砦迥曜詈玫姆椒ㄊ腔乜催^去。五年前GPT-2 剛問世時其性能尚顯原始，所以我認為，五年后看現在的模型也會覺得像石器時代。它們的推理能力會大幅提升，幻覺問題會顯著減少。未來的 AI 聊天機器人將能夠反思自己剛說過的話，判斷其是否合乎邏輯。

（關于推理的本質）“思維鏈”推理對我來說是個驚喜。十年前如果有人問我，我會斷言我們不可能擁有像 GPT-4 這樣博學且具備復雜推理能力的系統。思維鏈推理以及通過強化學習自我習得推理路徑，徹底改變了我們對推理的認知。幾十年來，符號化人工智能一直認為推理的本質是邏輯公式，必須將語言轉換為特定的邏輯形式。

那些人現在退而求其次，追求所謂“神經符號混合系統”，認為 AI 只能負責數字化現實世界，真正的推理還得靠邏輯系統。我認為這完全是胡說八道。思維鏈推理已經證明，推理可以由理解自然語言的系統直接完成，并不需要邏輯公式的轉換。那些堅持混合系統的人，就像制造汽油發動機的工程師，雖然認同電動馬達更優，卻試圖利用電動馬達將汽油噴射進發動機。

（關于理解的模型）大模型不是在做邏輯轉換，而是將單詞符號轉換為高維的神經活動向量。單詞的特征向量取決于上下文。當這些詞被轉化為準確的特征向量時，理解就發生了。這可以用樂高積木來類比，但語義積木是可變形的，它會為了適應上下文而改變形狀，產生細微差別。你可以把每個單詞想象成一個長滿小手的高維積木。它通過變形調整這些手的形狀，并選擇與哪些積木握手，這就是注意力機制。結構一旦成型，理解就達成了。這非常類似于蛋白質折疊（Protein folding）：理解更像是蛋白質折疊，而不是邏輯公式的轉換。傳統語言學和符號化人工智能的那套理解模型從根本上就錯了。

04

具身智能與交互：感知現實是認知的捷徑

人類智能不僅存在于大腦，而是分布在全身，通過感知外部反饋并對空間意識做出反應來體現。目前的模型大多運行在硅基芯片上，存在于虛擬的數字世界。您是否認為為了讓模型更有用，它們必須具備身體、傳感器和空間意識？如果確實需要，這些能力應該通過編程預設還是自主學習？

Geoffrey Hinton:這需要從哲學和實踐兩個維度來分析。從哲學角度看，我們可以思考一個只聽廣播的孩子是否能了解世界。哲學家通常持否定態度，但聊天機器人的表現證明，它們僅僅通過處理文本序列就掌握了關于世界結構的隱性知識。雖然語言包含信息，但它并非最高效的學習方式。聊天機器人需要處理天文數字般的文本才能理解世界。

（關于交互的重要性）如果能與現實環境互動，學習效率會高得多。擁有攝像頭和機械臂可以讓模型更高效地掌握空間概念。但這并不意味著這是唯一的途徑。盡管身處現實世界并進行實驗能極大地加速認知過程，但實驗并不是了解世界的絕對前提，否則天體物理學家就無法開展工作了。

以往的機器人訓練主要依靠預設規則，過程極其繁瑣緩慢。而在運動控制領域，類似大語言模型的方法已經顯示出潛力。只要讓機器人在不造成危險的前提下嘗試移動并允許其犯錯，它就能自主學會技能。這種架構在運動領域和語言領域同樣有效。機器人技術確實在飛速發展，觸覺感知已成為現實。Amazon 此前通過技術整合，在物理操作領域取得了顯著進展。結合觸覺技術后，機器人能非常精準地在倉庫中挑選商品并裝箱。

05

通過邏輯推理自我生成數據是突破算力和數據瓶頸、超越人類的關鍵路徑

2025 年被許多人視為 Agentic AI 的元年，LLM 將能夠作為代理在現實中執行任務（如預訂假期）。您認為這是真實的趨勢還是某種程度的炒作？它們協作能解決什么實際問題？此外，隨著算力、芯片投入的增加，Scaling Law 是否存在極限？

Geoffrey Hinton:這是正在發生的現實，而非炒作。我們甚至能看到AI Agent 之間開始產生互動，這確實令人心生敬畏。AI Agent 已經能處理網頁預訂等任務。預計不久后，它們就能在獲得授權的情況下使用支付手段代人購物。多個 Agent 協作還能進行極其復雜的規劃。我經歷過多次 AI 炒作周期，例如 80 年代曾因過度樂觀而脫離實際。但就過去幾年而言，AI 的潛力實際上是被低估了。

（關于 Scaling Law 的極限）除非系統能生成自己的訓練數據，否則極限是必然存在的。目前大部分高質量數據被封鎖在企業內部，公開數據幾近枯竭。此外，通過 Scaling Law 獲得的收益呈對數增長，每提升一點性能都需要翻倍的數據和算力，這最終會觸及能源上限。

但能夠自我生成數據的系統可以突破這一限制。我認為 LLM 未來能通過推理來產生數據，通過自我審視邏輯矛盾并獲取梯度來不斷進化。這正是 AlphaGo 超越人類的路徑，也是未來 LLM 變得比人類更聰明的途徑。

06

大模型與大腦的差異

為了突破Scaling Law 的瓶頸，未來是否需要開發全新的基礎架構？此外，關于 LLM 的短期記憶，為什么模型需要這種能力？最新的神經網絡研究揭示了關于我們自身智能的哪些奧秘？

Geoffrey Hinton:首先，通過更出色的工程優化仍有巨大空間，我們可以在不依賴頂尖硬件的情況下實現相同目標，DeepSeek 就是一個極好的例子。其次，我們會在架構本身以及使用方式上迎來飛躍，例如近期興起的“推理時計算（Inference-time compute）”，讓模型在測試階段也能進行深入的研究與推演，這已經產生了顯著影響。

（關于短期記憶與快速權重）在神經網絡的發展史上，人們長期認為處理序列應依靠循環神經網絡。后來 Transformer 的出現改變了游戲規則，它允許模型直接回看完整的所有歷史活動狀態，從而獲得了極其宏大的上下文。但生物大腦的神經元數量有限，無法像 Transformer 那樣保留所有歷史激活狀態。大腦獲得豐富上下文的唯一途徑是在短期連接強度中保存記憶。傳統模型只有快速的神經活動和緩慢的連接強度這兩個時間尺度。

要在生物網絡中實現類似 Transformer 的功能，必須引入第三個時間尺度，即“快速權重（Fast Weights）”。它疊加在連接強度上，能迅速改變權重并在短時間內衰減。其承載的信息量比神經活動高出幾千倍。這才是神經網絡運行的真實上下文，也必然是大腦處理復雜序列的底層機制。

（關于大腦與 AI 的學習差異）我最初試圖理解大腦計算原理的目標并未完全實現，這催生了利用反向傳播學習的現代 AI。我現在認為大腦可能并不使用反向傳播。大模型擁有數萬億樣本但連接數相對較少，而大腦擁有一百萬億個連接，但訓練數據非常匱乏。大腦解決的是如何在極少數據下利用海量連接進行學習，而 AI 則是通過反向傳播將海量信息擠進有限的連接中。大腦傾向于將少量信息散布在巨大的連接網絡中以便日后檢索，這與目前的 AI 學習策略截然不同。

07

生存風險與安全監管

您離開Google 是為了自由地就 AI 的存在性風險發聲，這種擔憂在過去一年中是否有新的演變？關于開源模型是提升安全性還是擴散危險（如生物武器、網絡攻擊），您的立場是什么？針對政策制定者和企業，您最想傳達的務實建議是什么？

Geoffrey Hinton:最嚴峻的風險依然是AI 接管世界的存在性風險。隨著 AI 變得比人類更聰明并擁有代理能力，其目標可能與人類產生沖突。在那樣的對抗中，人類處于絕對劣勢。那種認為可以隨時關掉電源的想法過于天真，因為一個比你更聰明的系統為了實現其目標，會自發產生一個“不被關機”的工具性子目標，并想方設法阻止你這么做。

（關于開源的爭議）我強烈反對無限制開源這些強大的前沿模型。這無異于開源核武器。即便好人手里有防衛手段，也無法阻止惡意勢力利用開源模型發起毀滅性的網絡攻擊或研發致命的生物武器。在網絡戰和生物安全領域，進攻往往比防御容易得多。如果有人設計出一種致命病毒，即便擁有強大的 AI，等你感染后才去研發疫苗也為時已晚。有些前沿技術是不應該讓每個人都隨意掌控的。

（關于給政策制定者的建議）必須大幅增加安全研究的資源投入。目前大公司在安全上的投入比例微乎其微，絕大部分資源都在卷模型能力。這個比例必須徹底改變，至少應投入三分之一甚至一半的資源用于安全研究。我們需要在 AI 變得比人類更聰明之前，弄清楚如何檢測模型的欺騙行為，如何證明其安全性，以及如何控制一個比自己更聰明的實體。這是人類從未面對過的技術難題。

| 文章來源：數字開物

【AI技術與應用交流群｜僅限受邀加入】

AI算力領域TOP級從業者專屬圈層

√ 與頭部算力企業深度對話

√ 與AI上下游企業深度對話

√ 獲取一手全球AI與算力產業信息

√ 獲取AI熱點及前沿產業獨家信息

√ 隨時了解全球AI領域高管最新觀點及實錄全文

√ 有機會參與AI主題產業交流活動

掃碼驗證身份（需備注姓名/公司/職務

不止有 DeepSeek，更有 AI產業的未來！

? END ?

【專欄】精品再讀