圖靈獎得主楊立昆公開“手撕”Meta 內(nèi)部環(huán)境：“LLM 吸光了房間里的空氣”，物理世界才是 AGI 的終局

來源：AI 科技大本營（ID：rgznai100）

編譯：王啟隆

Sora 死后，生成式視頻路線已到頭。

2026 年 3 月，在新德里的 AI Alliance Global Leadership Reception 上，Christopher Nguyen 邀請到楊立昆聊了一個對未來影響深遠(yuǎn)的話題：今天的 AI 缺了一塊很大的東西，而他想討論的，不只是這塊拼圖究竟是什么，更是 LeCun 正在推進的JEPA，是否就是那塊缺失的答案。

一如既往，LeCun 再次表達(dá)了他對 LLM 路線的懷疑，但他這次把另一條技術(shù)敘事講得足夠完整：如果真實世界的大部分細(xì)節(jié)本來就不可預(yù)測，那么 AI 要學(xué)的，可能就不是如何重建一切，而是如何找到那些真正可預(yù)測、也真正有用的抽象表示。

接下來的對話里，他系統(tǒng)解釋了為什么文本可以靠離散 token 預(yù)測一路推高能力，視頻和真實世界卻不行；為什么重建式路線會在現(xiàn)實信號上遇到根本限制；以及為什么他相信，真正通向下一代 AI 的，不是把現(xiàn)有生成式方法再往上堆一層，而是去學(xué)習(xí)抽象表示，并在表示空間里做預(yù)測。

要點速覽

• LeCun 認(rèn)為，LLM 的上限不只是能力問題，而是“下一 token 預(yù)測”這條路線本身不適合真實世界。

• AI 真正缺的，不是更大的語言模型，而是能學(xué)習(xí)抽象表示、預(yù)測后果并支持規(guī)劃的世界模型。

• JEPA 的關(guān)鍵，不是重建全部細(xì)節(jié)，而是在表示空間里抓住那些真正可預(yù)測的結(jié)構(gòu)。

• 在圖像和視頻表示學(xué)習(xí)上，聯(lián)合嵌入方法長期優(yōu)于重建式方法，這在他看來已經(jīng)是明確的經(jīng)驗結(jié)論。

• 這也是他離開 Meta、轉(zhuǎn)向 AMI Labs 的原因之一：LLM 已經(jīng)吸走了太多資源，而 JEPA 更重要的應(yīng)用在真實世界。

接下來是這場對話的精編翻譯。

AI 今天真正缺的，不是更多 token，而是世界模型

主持人：在開始之前，我先把這場對話的議程說清楚。第一件事比較容易說服大家：今天的 AI，確實缺了一塊非常大的東西。第二件事更難：我希望這場談話至少能開始讓大家相信，Yann 正在做的事情，可能就是那塊缺失拼圖的答案。

如果要用最容易理解的方式來解釋，你會怎么向大家說明這兩件事：AI 到底缺了什么？為什么你認(rèn)為 JEPA 是答案？

Yann LeCun：這個問題其實分成兩個部分。第一，缺的到底是什么？答案是：世界模型。第二，什么是世界模型，我們又該怎么把它建出來？

過去大概 15 年，AI 經(jīng)歷了兩次革命。一次是深度學(xué)習(xí)，另一次當(dāng)然就是 LLM，本質(zhì)上是 GPT 這類架構(gòu)推起來的。GPT 真正重要的，不是 transformer 本身，而是它背后的訓(xùn)練思想：給系統(tǒng)一個輸入序列，再訓(xùn)練它把這個輸入序列復(fù)現(xiàn)到輸出上。由于這個架構(gòu)是嚴(yán)格因果的，它只能看到當(dāng)前位置左邊的符號，所以它本質(zhì)上是在做“下一 token 預(yù)測”，也就是下一個符號預(yù)測。

這是一種自監(jiān)督學(xué)習(xí)。你并不是在為某個具體任務(wù)訓(xùn)練它，而是在讓它學(xué)習(xí)序列中不同符號之間的依賴關(guān)系。最開始其實也有一些架構(gòu)嘗試在任意方向上做預(yù)測，但最后真正能擴展起來的，是只做時間上向未來的預(yù)測，也就是 GPT 這條路。

這條路為什么對文本有效？因為文本是離散的，token 的種類也是有限的。你永遠(yuǎn)不能確定某串詞后面一定跟哪個詞，但因為可能的 token 數(shù)量有限，你可以對每一種可能性打分，得到一個在十萬級詞表上的概率分布。

問題是，這一套方法一旦離開文本，就會遇到根本困難。我至少花了 15 年在研究，怎么把自監(jiān)督學(xué)習(xí)這套想法用到視頻上。也就是說，訓(xùn)練一個系統(tǒng)去預(yù)測視頻接下來會發(fā)生什么。但最后你會發(fā)現(xiàn)，這件事根本做不通。

比如我拍一段這個房間的視頻，鏡頭慢慢轉(zhuǎn)過去，然后在某一刻停住。我讓系統(tǒng)預(yù)測接下來的視頻。它當(dāng)然可以猜到一些大概的東西，比如這是一個房間，房間里坐著人，前面有桌子。但它絕不可能預(yù)測出你們每個人具體長什么樣，哪些座位有人，地毯的紋理是什么，吊燈的反光是什么樣。現(xiàn)實世界里，我們觀察到的大部分細(xì)節(jié)，本來就是不可預(yù)測的。

如果你硬逼系統(tǒng)去預(yù)測這些細(xì)節(jié)，唯一的辦法就是再塞給它額外信息，讓它有能力把這些細(xì)節(jié)復(fù)原出來。這個額外信息就是潛變量。但問題在于，這個潛變量最后往往承載了絕大部分預(yù)測所需的信息，于是整件事就失效了。

真實世界本來就是這樣。我們當(dāng)然可以預(yù)測，如果把門窗都關(guān)上，再把這個房間里的空氣加熱，溫度和壓強會怎樣變化，因為有 PV=nRT。但你不可能去預(yù)測每一個空氣分子的運動軌跡。分子太多了，不可能逐一模擬。

所以，試圖預(yù)測數(shù)據(jù)中的所有細(xì)節(jié)——不管是視頻、分子動力學(xué)，還是別的連續(xù)世界信號——這個想法本身就是錯的。

真正可行的做法，是換一種架構(gòu)：不要試圖重建輸入里的每一個細(xì)節(jié)，而是去學(xué)習(xí)一種抽象表示，并在這個抽象表示空間里做預(yù)測。這就是 JEPA，也就是聯(lián)合嵌入預(yù)測架構(gòu)。

JEPA 的意思是，你訓(xùn)練系統(tǒng)去找到一種盡可能保留輸入信息、但同時又具有可預(yù)測性的表示。比如在這個房間里，溫度和壓強是可以互相預(yù)測的；空氣分子的具體位置和速度則不行。物理學(xué)家早就把這件事做成了體系：為了做預(yù)測，他們必須忽略大量細(xì)節(jié)，而這些被忽略掉的東西，叫作熵。

你去模擬機翼周圍的空氣流動，也不是去追蹤每一個空氣分子，而是把空氣抽象成速度、密度、溫度，然后解 Navier–Stokes 方程。我們做建模一直都是這樣。量子場太復(fù)雜，于是我們發(fā)明了粒子；粒子太多，于是我們發(fā)明了原子；再往上有分子、蛋白質(zhì)、細(xì)胞、生物體、生態(tài)系統(tǒng)、社會。每一個層級，都是為了在忽略下層細(xì)節(jié)的情況下，保留足夠的結(jié)構(gòu)來做預(yù)測。

從這個意義上說，JEPA 其實是一個非常簡單的想法：不要去重建信號中的一切，而要去尋找一種可以支持預(yù)測的抽象表示。

如果我把人類已經(jīng)收集到的所有木星數(shù)據(jù)都丟給你，這些數(shù)據(jù)本身并不會自動帶來預(yù)測能力。比如我問你，木星十年后會在哪，你真正需要的可能只有六個數(shù)字：三個位置，三個速度。其他大量細(xì)節(jié)可能都不重要。它們不是沒價值，只是對這個問題沒幫助。

如果你用這種方式訓(xùn)練出系統(tǒng)，而且這種系統(tǒng)不再是生成式的，也不再是傳統(tǒng)意義上概率式的——雖然它仍然可以處理不確定性——那你就有可能真正構(gòu)建面向現(xiàn)實世界的 AI。

再進一步，如果這個系統(tǒng)學(xué)到的不是單純時間預(yù)測，而是帶動作條件的預(yù)測：在時間 t 的世界狀態(tài)下，假設(shè)采取某個行動，那么 t+1 的世界狀態(tài)會是什么。那它就成了真正的世界模型。你可以用它來規(guī)劃，規(guī)劃一串最優(yōu)動作，以達(dá)成某個目標(biāo)函數(shù)下的結(jié)果。

大家都在講智能體系統(tǒng)，但其實沒有人真正知道怎么把它們建得可靠。至少在我看來，單靠 LLM 很難做到，因為 LLM 并沒有能力預(yù)測自己行動的后果。要做到這一點，你需要的是世界模型。

為什么 LeCun 認(rèn)為生成式路線有根本上限

主持人：這套想法在直覺上很容易讓人認(rèn)同。我們感知世界的時候，也不是在腦子里重建聲音、像素和全部細(xì)節(jié)，而是形成某種表示。那問題就來了：為什么不能繼續(xù)擴大另一條路線？為什么不能靠更多算力、更多數(shù)據(jù)，把生成式方法繼續(xù)推上去？這到底是規(guī)模問題，還是更本質(zhì)的方法問題？

Yann LeCun：我認(rèn)為這是生成式方法本身的根本限制。只要你試圖重建信號里的全部細(xì)節(jié)，這條路就是有問題的。

第二個限制是，為了讓這些生成式模型工作，你通常還得先把信號離散化，也就是 token 化，把它變成離散符號序列。你當(dāng)然可以嘗試把視頻也這樣處理，但效果并不好。

在計算機視覺里，我們其實已經(jīng)積累了很多年經(jīng)驗。要用自監(jiān)督的方式學(xué)圖像表示，大體上有兩種路線。第一種是重建：拿一張圖像，做一些破壞，比如遮住一部分、模糊它、改顏色，再訓(xùn)練一個大網(wǎng)絡(luò)去從這個被破壞的版本里重建原圖。這在自然語言處理中對應(yīng)的是 BERT，在視覺里則有遮罩圖像建模、遮罩自編碼器這些方法。

它們不是完全沒用，也能學(xué)到一些表示，再拿去做下游監(jiān)督任務(wù)。但還有第二種路線，就是聯(lián)合嵌入。你把原圖和被破壞或變換后的圖都送進編碼器里，訓(xùn)練它們在表示空間中互相可預(yù)測。換句話說，你不要求它把像素重建回來，而要求它學(xué)會一種更高層的表示。

這么多年的實驗結(jié)論其實很明確：聯(lián)合嵌入幾乎每次都比重建更強。不管是 VAE、VQ-VAE、稀疏自編碼器，還是別的重建方法，都沒有真正比過這些不試圖重建的方式。

對我來說，這是一個非常強的經(jīng)驗信號：對于自然信號來說，重建本身就是個壞主意。

我其實已經(jīng)和這個想法生活了 40 年。1987 年我的博士論文里，就在做自編碼器，甚至是去噪自編碼器。1986 年我就在訓(xùn)練這類東西。它們當(dāng)然“有點效果”，但遠(yuǎn)遠(yuǎn)談不上真正可行。后來 Geoff Hinton 也一樣，對這類方法的表現(xiàn)并不滿意。

最后我們看到的結(jié)論是：對于自然信號，學(xué)習(xí)表示的最好辦法，不是重建，而是不重建。最近幾年，這種聯(lián)合嵌入方法再用到視頻上，也出現(xiàn)了非常好的結(jié)果。

從 collapse 到 DINO：這條路為什么現(xiàn)在才開始真正成熟

主持人：但懷疑者會問一個問題：在表示空間里學(xué)習(xí)當(dāng)然聽起來很好，可它很容易塌縮，落到 trivial solution（平凡解，線性系統(tǒng)的解為零向量的情況）。那最近這幾年到底發(fā)生了什么，讓你覺得這條路真的可以往前走了？

Yann LeCun：這個問題其實很早就出現(xiàn)了。1993 年我在 Bell Labs 的時候，就有人找我們做簽名驗證。他們的需求很具體：信用卡磁條上只有 80 字節(jié)空間，能不能把簽名的“gist”編碼進這 80 字節(jié)里，然后比較兩次簽名是否屬于同一個人。

當(dāng)時我的想法是用后來被叫作孿生神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)：給它兩個同一個人的簽名，分別過同一個網(wǎng)絡(luò)，再要求它們輸出相同的表示。問題是，如果你只這么做，系統(tǒng)最簡單的解法就是忽略輸入，永遠(yuǎn)輸出一個常數(shù)表示，這就是塌縮。

后來我們想到的辦法，就是今天所謂對比式方法：除了給它同一個人的兩個簽名，也給它不同人的簽名，或者真實簽名和偽造簽名，然后要求這些表示彼此拉開。這在簽名任務(wù)上有效，后來在 ImageNet 這種對象識別任務(wù)上也有效，但它不太容易擴展，學(xué)到的表示維度通常比較低。

所以很長一段時間里，我并不覺得這會是自監(jiān)督學(xué)習(xí)的最終答案。直到大概五年前，我的一個博士后 Stéphane Deny，以及其他一些相關(guān)工作，開始用另外一種方法來避免塌縮。它們不是對比式方法，而是通過最大化某種信息量，迫使編碼器輸出的信息保持“有信息”，從而防止系統(tǒng)直接忽略輸入。

這一條路后來發(fā)展成了 Barlow Twins，之后又有 VICReg，再往后還有基于蒸餾的方法。與此同時，Meta 那邊也有 DINO、DINOv2、DINOv3。這些結(jié)果讓事情變得很清楚：我們確實已經(jīng)有辦法避免塌縮，而且這些辦法在圖像表示學(xué)習(xí)上非常有效。

所以我后來才真正覺得，這就是未來應(yīng)該走的方向。當(dāng)然，這里面的理論解釋還沒有完全建立起來。為什么這些防塌縮方法能這么有效，我們其實還沒有徹底理解。

LLM 已經(jīng)把房間里的空氣吸光了

主持人：過去 FAIR 一直是很好的研究環(huán)境。扎克伯格也很希望你留下來。那為什么你最后還是決定離開 Meta，去做 AMI Labs？在外面到底能做什么，是在 Meta 里面做不了的？

Yann LeCun：至少到去年之前，F(xiàn)AIR 還是一個非常適合做研究的地方。但過去這一年，Meta 的重心已經(jīng)明顯轉(zhuǎn)向更短期的目標(biāo)了，本質(zhì)上就是追趕整個 LLM 產(chǎn)業(yè)。這就導(dǎo)致那些更長期、更激進、也更偏離當(dāng)前主流范式的項目，被放到了更次要的位置。

當(dāng)一家整個公司都在往某個范式上投入數(shù)千億美元，而你這個 Chief AI Scientist 又到處說，單靠放大 LLM 永遠(yuǎn)不可能走到人類級 AI，你自然不會特別受歡迎。

當(dāng)然，Mark Zuckerberg 和 Andrew Bosworth 其實都對我在做的項目非常支持。我們當(dāng)時在 Meta 內(nèi)部把這個項目叫作 AMI，Advanced Machine Intelligence，后來這也成了新公司的名字。但我后來還是去跟 Mark 講，這個方向在公司內(nèi)部從政治上已經(jīng)很難繼續(xù)推了。因為LLM 基本上已經(jīng)把房間里的空氣都吸光了。

這是第一點。第二點是，這些 JEPA 想法真正重要的應(yīng)用，很多都在 Meta 根本不會碰的地方：工業(yè)流程控制、機器人、現(xiàn)實世界系統(tǒng)，還有很多其他應(yīng)用。Meta 的核心業(yè)務(wù)還是連接人與人，而不是這些現(xiàn)實世界問題。

所以，一方面是公司內(nèi)部模式發(fā)生了變化，另一方面是外部應(yīng)用空間太大，再加上融資條件也成熟了，JEPA 的結(jié)果又開始真正跑出來了，這時候離開就變成了一件順理成章的事。

從衛(wèi)星到經(jīng)濟系統(tǒng)，世界模型真正要去的地方在哪里？

主持人：我們其實一直在用 Barlow Twins 和 JEPA 訓(xùn)練衛(wèi)星模型，效果非常好，也很簡單。所以我完全相信你說的抽象表示這條路。但現(xiàn)在的問題是，我們訓(xùn)練出了一個很漂亮的模型，它對太空這個尺度有效，可它和其他尺度上的 JEPA 模型之間并沒有真正連接起來。你覺得未來這些模型會不會形成某種分層 JEPA，最后在不同尺度之間連起來？

Yann LeCun：我覺得最終你確實需要某種分層 JEPA。低層表示負(fù)責(zé)更短時、更細(xì)節(jié)的預(yù)測，但這些預(yù)測通常會很快偏離現(xiàn)實。所以你還需要更高層的表示，去做更長時間、更大尺度的預(yù)測。

高層級的一個特點，就是它能在更大的時間尺度和空間尺度上做預(yù)測。這其實也和物理里的很多思想相通，比如重整化群理論，也和卷積網(wǎng)絡(luò)里的池化有某種相似性。

而且不同物理現(xiàn)象之間，本來就共享很多共性。我覺得這給了我們一種可能：建出某種更通用的模型，讓一個領(lǐng)域里形成的“直覺”，能遷移到另一個領(lǐng)域里去。比如你如果真的理解流體動力學(xué)，哪怕只是高層的直覺，你既可以用它理解渦噴發(fā)動機，也可以用它理解機翼，也可以用它理解帆的受力。

我們?nèi)祟惼鋵嵰恢本褪沁@么工作的。甚至貓也是。你的貓對于自己的身體動力學(xué)、摩擦、跳躍這些事，理解得可能比任何你能寫出來的方程都好。它知道什么時候能跳上去，怎么連續(xù)借力，怎么控制身體，這是一種非常高層但非常有效的世界模型。

主持人：我們會前還聊到另一個問題，就是經(jīng)濟模型。如果從政策、預(yù)測、經(jīng)濟這些角度看，經(jīng)濟系統(tǒng)里有公司、個人、政府、組織這些“微觀主體”，又有國家、區(qū)域、產(chǎn)業(yè)這樣的“宏觀結(jié)構(gòu)”。你怎么理解這種從微觀到宏觀的問題？

Yann LeCun：不管是在物理、經(jīng)濟學(xué)、社會科學(xué)還是工程里，最難的問題之一，都是怎么從微觀過渡到中觀，再到宏觀。

在物理里，這件事其實最近幾年才真正開始有一些理論上的突破。比如怎么從分子碰撞推到 Boltzmann 方程，再怎么從 Boltzmann 方程走到 Navier–Stokes 方程。再往上，你又會遇到更高層的問題，比如給定一個特定翼型和特定速度，怎么直接預(yù)測升力和阻力。

其實現(xiàn)在已經(jīng)有人在做這類事情：先用 Navier–Stokes 方程或者計算流體動力學(xué)生成訓(xùn)練數(shù)據(jù)，再訓(xùn)練神經(jīng)網(wǎng)絡(luò)去直接預(yù)測升力和阻力。這樣得到的是一個可微分模型，你甚至可以直接對形狀反傳梯度，去優(yōu)化形狀本身。類似例子在材料科學(xué)、宇宙學(xué)模擬等很多地方都已經(jīng)出現(xiàn)了。

經(jīng)濟學(xué)會更難，因為你面對的不是遵守牛頓定律的分子，而是大量在有限信息下做半理性決策的人和組織。這樣形成的涌現(xiàn)行為，本來就極難建模。

所以在我看來，這類問題最后很可能還是要靠一種數(shù)據(jù)驅(qū)動的方法，也就是類似 JEPA 的路徑，去找到好的抽象。宏觀經(jīng)濟學(xué)其實也一直在做這件事，只不過是用更高層的抽象，把微觀細(xì)節(jié)進一步壓掉。

我覺得這種方法在經(jīng)濟學(xué)里會有很多應(yīng)用，在金融里可能也有應(yīng)用。但金融的問題是，大部分?jǐn)?shù)據(jù)本質(zhì)上都是噪音，信噪比非常低。

原視頻鏈接：youtu.be/wDeXfFQcJxk

閱讀最新前沿科技趨勢報告，請訪問21世紀(jì)關(guān)鍵技術(shù)研究院的“未來知識庫”

未來知識庫是 “21世紀(jì)關(guān)鍵技術(shù)研究院”建 立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟、人類風(fēng)險等等領(lǐng)域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。

截止到2月28日 ”未來知識庫”精選的百部前沿科技趨勢報告

（加入未來知識庫，全部資料免費閱讀和下載）