“我為何執著于世界模型” | 楊立昆最新萬字實錄

近日，圖靈獎得主、深度學習教父楊立昆在宣布離開 Meta 核心管理層并創辦新公司 AMI (Advanced Machine Intelligence) 后，接受了海外播客Information Bottleneck的深度專訪。本次對話楊立昆透露了為何轉型創業、深入探討了大語言模型通往人類水平智能的根本性死胡同、聯合嵌入預測架構（JEPA）對世界模型的重新定義、視頻數據在 Scaling Law 中的統治級地位、目標驅動的 AI 本質安全架構，以及基于“智能放大器”邏輯對 AGI 偽命題的徹底解構。

楊立昆指出，AGI在數學和生物學意義上是一個“偽命題”。他指出，人類智能本質上是進化高度專業化的產物，所謂的“通用性”只是人類因認知邊界限制而產生的錯覺。他認為，當前行業對大語言模型的迷戀正處于“低本底鋼”式的困境——僅僅依靠互聯網上的文本 Token 堆疊，AI 永遠無法習得嬰兒在九個月大時就能掌握的“物理世界常識”，這種缺乏底層動力學理解的智能注定是脆弱且不可靠的。

針對世界模型的構建，他明確指出，試圖在像素級別重現現實細節的想法不僅錯誤而且有害。真正的智能在于“抽象”：世界模型不應是重現每一幀視頻的模擬器，而應是在抽象表示空間（Representation Space）中剔除不可預測細節（噪聲）的預測引擎。他斷言，AI 必須通過在表示層級進行非確定性的后果預測，才能真正實現從“背誦事實”向“具備直覺與規劃”的質變。

在 AI 安全與未來演進上，楊立昆認為，智能與權力欲望并無邏輯關聯。他將未來的超級智能比作 Linux 系統般的公共基礎設施，強調其核心使命是增加全球的“智能總量”，作為人類智慧的放大器，而非人類的統治者。他預測，隨著世界模型的成熟，AI 將以“自主智能代理”的形態徹底融入社會，開啟一個由基礎物理規律驅動的全新研究時代。

01 角色轉換：從大型實驗室到從零創業

祝賀你宣布在 Meta 工作 1

2 年后創辦新公司 AMI。請問在當前 AI 投資熱潮下，從掌舵大型企業實驗室到重新開始初創研究，你的心態和角色經歷了怎樣的轉變？

Yann LeCun:其實我以前也共同創辦過公司，雖然當時不像這次參與得這么深，但我很清楚其中的運作機制。這次創業的獨特之處在于一種新現象：投資者對 AI 的巨大潛力充滿信心，因此愿意投入巨額資金。這意味著，你現在可以創辦一家在前幾年完全專注于研究的初創公司，這在以前是無法想象的。

過去，工業界唯一的科研凈土只有那些不必為生存發愁的大公司。它們在市場中處于統治地位，眼光足夠長遠，才愿意資助那些長期的研究項目。回看歷史，那些鼎鼎大名的實驗室，比如貝爾實驗室，隸屬于當時壟斷美國電信業的 AT&T。IBM 在大型機領域處于壟斷地位，因此支撐得起優秀的研究室。施樂壟斷了復印機，這讓他們有能力資助帕羅奧多研究中心，雖然施樂沒能從那些研究中直接獲利，但 Apple 卻從中受益匪淺。再到近期的 Microsoft 研究院、Google 研究院以及 Meta 的 FAIR。現在，行業格局正在再次發生轉變。

02 科研理念：開放是創新的必經之路

FAIR 曾堅持高度開放、開源一切，但近年 OpenAI 和 Google 等實驗室趨于封閉，Meta 似乎也在收縮。在這種環境下，AMI 計劃如何保持研究透明度？

Yann LeCun:FAIR 曾對 AI 研究生態產生了深遠影響，我們堅持高度開放，發表所有論文，開源一切。我們不僅提供了 PyTorch 這樣的工具，還開源了許多被工業界廣泛采用的研究原型。這促使 Google 等其他實驗室也變得更加開放，發表成果也比以前更系統。但過去幾年情況發生了變化，很多實驗室開始收縮，變得越來越神秘。OpenAI 幾年前就開始走向封閉，現在 Google 也是如此，甚至 Meta 也可能在往這個方向走。對于我感興趣的研究課題，是時候在 Meta 之外去尋找更合適的土壤了。

（關于 AMI 的開放計劃）是的，至少上游研究是公開的。在我看來，不發表成果就不能稱之為真正的研究，否則你很容易自我陶醉。你可能發明了一個自認為開創性的重大突破，但如果不提交給社區同行評議，你可能只是在自嗨。我在很多工業研究實驗室見過這種現象：內部對某個項目極度熱捧，卻沒意識到其他人已經做出了更好的成果。如果你要求科學家發表論文，這首先會激勵他們產出更高質量的成果，讓方法論更嚴謹，結果更可靠，從而使研究本身更具公信力。

這對研究者本人也有好處。因為研究對產品產生影響往往需要數月、數年甚至數十年。你不能跟應聘者說，來我們這兒吧，但不能對外說你在做什么，也許五年后你的工作會影響某個產品。如果沒有即時的正向反饋，他們很難保持動力。如果不讓他們發表，他們往往會傾向于做那些能在短期內見效的項目。如果你真的追求突破，就必須允許公開發表。別無他法，這也是目前許多行業巨頭正在遺忘的一點。

03 智能的核心是預測后果并進行規劃，目前的 LLM 架構對此無能為力

AMI 的產品版圖是什么？在目前大語言模型（LLM）如日中天的情況下，為什么你認為它在實現 AI Agent 方面還遠遠不夠？

Yann LeCun:不，不止于研究，我們會開發實際的產品。這些產品將圍繞世界模型和規劃展開。我們的雄心是成為未來智能系統的主要供應商之一。我們認為目前的架構，無論是大語言模型還是基于大語言模型的 AI Agent 系統，處理語言還可以。但即便是 AI Agent 系統，目前運行得也并不理想。它們依賴大量數據來克隆人類行為，且極其不可靠。

我認為解決這個問題的正確路徑，也是我堅持了快十年的觀點，是構建能夠預測自身行動后果的世界模型。AI 通過優化來確定一系列行動或輸出，即找出哪種行動序列能最有效地完成設定的任務。這就是規劃。我認為智能的核心特征就是能夠預測行動的后果，并利用這種預測進行規劃。這是我多年來的研究重心，通過在紐約大學和 Meta 的一系列項目，我們已經取得了快速進展，現在是時候把它轉化為現實了。

（關于技術缺失環節）它和大語言模型根本不是一回事。它旨在處理高維、連續且包含大量噪聲的模態，而大語言模型在這些方面完全無能為力。如果你嘗試用大語言模型去學習圖像或視頻的優質表示，效果會非常糟糕。目前 AI 的視覺能力通常是獨立訓練的，并不包含在大語言模型架構中。

處理高維、連續且有噪聲的數據時，生成模型是行不通的。你絕對不能使用那種將數據 Token 化為離散符號的生成模型。大量經驗證據表明其效果不佳。真正有效的方法是學習一個抽象表示空間，過濾掉所有不可預測的細節和噪聲，并在該空間中進行預測。這就是聯合嵌入預測架構（Joint Embedding Predictive Architecture，簡稱 JEPA）的核心理念。你對它也很熟悉，也參與過相關工作。Randall 之前在節目里可能也詳細聊過，目前圍繞這個理念已經衍生出很多想法。

04 深度學習歷史突破：從自動編碼器到 JEPA

回顧過去 20 年，您如何看待無監督學習路徑的演變？從早期的自動編碼器到現在的聯合嵌入預測架構（JEPA），我們學到了哪些關于“信息瓶頸”和表示學習的核心教訓？

Yann LeCun:我來回顧一下這方面的研究歷史。過去 20 年的大部分時間里，我一直深信構建智能系統的必由之路是某種形式無監督學習。我在 2000 年代初期就開始研究這個方向，并將其作為取得突破的基礎。

當時的主流思想是訓練自動編碼器來學習表示：輸入數據通過編碼器提取表示，再通過解碼器還原。當時認為必須保證表示包含了輸入的全部信息，但后來發現這種直覺是錯誤的。強求表示包含所有輸入信息其實是個壞主意，但我當時并沒意識到。那時我們嘗試了多種方法：Geoff Hinton 在研究受限玻爾茲曼機（Restricted Boltzmann Machines），Yoshua Bengio 在研究去噪自動編碼器。這些方法在不同背景下都取得了成功，比如在自然語言處理中。而我當時在研究稀疏自動編碼器。簡而言之，訓練自動編碼器時必須對表示進行正則化，防止它簡單地變成一個恒等函數。這就是你們播客討論的核心概念：信息瓶頸。

你需要通過一個信息瓶頸來限制表示的信息含量。我曾認為高維稀疏表示是最佳方案。我的幾位博士生以此為題完成了論文，比如 Koray Kavukcuoglu，他現在是 Alphabet 旗下 DeepMind 的首席 AI 架構師兼 CTO，當年就是跟我做的這個課題。我們當時研究這個是為了給深層神經網絡做預訓練，認為這是必經之路。但后來我們開始嘗試歸一化、將激活函數換成 ReLU 等技術，發現這讓我們能夠直接進行全監督訓練來處理非常深的網絡。與此同時，數據集也開始爆發式增長。事實證明監督學習的效果非常好，因此自監督學習的想法就被暫時擱置了。隨后 ResNet 在 2015 年問世，徹底解決了超深架構的訓練難題。但在 2015 年，我開始重新思考：我們該如何向人類水平的 AI 邁進？這既是 FAIR 創立的初衷，也是我的終身使命。我意識到，強化學習等方法在本質上是無法擴展的。強化學習的樣本效率極低，因此走不通。于是我回到了世界模型的想法：一個能夠預測后果并進行規劃的 AI。

2016 年我在 NIPS 上的主題演講就是關于世界模型的。我當時認為這是我們應該研究的核心方向，即由動作調節的世界模型。隨后我的一些學生開始在視頻預測等方向進行探索。雖然我們發表了幾篇論文，但我犯了和以前一樣的錯誤，也是現在大家都在犯的錯誤：試圖在像素級別進行預測。這根本行不通。你無法在視頻幀空間上構建有效的概率分布。我非常清楚，由于預測具有非確定性，模型必須引入隱變量來代表那些你無法預知的變數。我們在這個方向探索了很多年，我這里的一位學生 Michael Mathieu 開發了一個帶隱變量的視頻預測系統，稍微緩解了問題。目前業界流行的擴散模型本質上也是訓練非確定性函數的一種方式。還有我倡導了幾十年的基于能量的模型，也是另一種路徑。但最終我意識到，解決無法在像素級預測的關鍵，就是干脆放棄像素級預測，轉而在表示層級進行預測，并剔除掉所有無法預測的干擾細節。我早期沒考慮這個方法，主要是擔心會出現模型崩潰的問題。

（關于孿生網絡演進）最近人們甚至還在使用這些網絡中的術語。這個概念依然不過時。假設有兩個變量 X 和 Y，你可以將 X 看作是 Y 經過退化、變換或損壞后的版本。將 X 和 Y 同時通過編碼器處理，并告知 AI 系統 X 和 Y 實際上是同一事物的兩個視角，那么計算出的表示應當一致。如果只是簡單地訓練兩個共享權重的神經網絡，試圖為同一對象的不同視角產生相同的表示，系統會發生坍縮，無法產生任何有價值的信息。因此，必須找到一種方法，確保 AI 系統能從輸入中提取盡可能多的信息。

我們在 1993 年關于孿生網絡的論文中提出了對比項的概念。通過已知不同的樣本對，訓練系統產生不同的表示。我們設計了代價函數，當輸入兩個相同或相似的樣本時，函數會吸引兩個表示相互靠近，而當輸入兩個不相似的樣本時則會將它們排斥。這個想法源于一個實際需求，當時有人希望我們將簽名編碼在 80 字節以內，以便存儲在信用卡的磁條上進行驗證。雖然我提出了訓練神經網絡產生 80 個變量并將每個變量量化為一個字節的方案，且效果很好，但業務部門最終決定讓用戶直接輸入 PIN 碼。這讓我們學到了如何整合技術的教訓。當時歐洲有些國家已經在使用更先進的智能卡，但由于某些原因，他們并不想采用。

2000 年代中期，我和兩名學生修改了這個想法，提出了新的目標函數。這就是現在人們所說的對比方法，也是對比方法的一個特例。我們利用正負樣本進行訓練，對于正樣本，訓練系統具有低能量，對于負樣本則具有高能量。這里的能量是指表示之間的距離。Raia Hadsell 和 Sumit Chopra 在 2005 年和 2006 年的 CVPR 上發表了相關論文。Raia Hadsell 現在負責 DeepMind 的基礎研究部門，Sumit Chopra 現任紐約大學教職。雖然這引起了社區的興趣，但效果依然有限，產生的圖像表示維度較低。即使在 ImageNet 上進行數據增強訓練，表示協方差矩陣的特征值譜也只能填滿 200 個維度。

DeepMind 的 SimCLR 證明了對比訓練在孿生網絡上的潛力。大約五年前，我在 Meta 的博士后 Stephane Deny 嘗試了一個我起初認為行不通的想法，即衡量編碼器輸出的信息量并將其最大化。我不看好是因為 Geoffrey Hinton 在 80 年代做過類似實驗，當時由于缺乏有效的信息內容度量作為下界，最大化信息量幾乎是不可能的。然而，Stephane 借鑒理論神經科學家 Barlow 的思想提出了 Barlow Twins 技術，效果驚人。隨后我和學生 Adrien Bardes 提出了 VICReg，即方差-不變性-協方差正則化，這種技術更簡單且效果更好。最近 Randall 提出了 SigReg 方案并整合進 V-JEPA 系統。SigReg 旨在確保編碼器輸出的向量分布符合各向同性高斯（Isotropic Gaussian）分布。我認為這套學習抽象表示的技術非常有前景，這是實現 AI 的關鍵。

05 數據冗余與 Scaling Law

關于 Scaling Law 的討論中，有人擔心互聯網數據已耗盡或被 AI 內容污染。您如何看待文本數據與視頻數據在構建 AI 認知能力上的本質區別？

Yann LeCun:目前 AI 領域缺失的部分，究竟是算力還是算法？對于 Scaling Law 的討論，以及 2022 年后互聯網數據質量問題，有人將大語言模型出現前的數據比作低本底鋼，指的是未受 AI 生成內容污染的原始 Token 數據。訓練一個性能出眾的大語言模型，基本上需要互聯網上所有的公開文本、合成數據及授權數據。一兩年前的模型通常在 30 萬億 Token 上訓練，每個 Token 約占 3 字節，預訓練總數據量達 字節。為了讓大語言模型能夠真正利用這些數據，需要龐大的內存存儲。由于文本中大多是孤立的事實，冗余度較低，AI 系統需要巨大的網絡來存儲并反芻這些事實。

字節的視頻數據大約對應 15,000 小時的視頻。這僅相當于 YouTube 30 分鐘的上傳量，或者一個 4 歲孩子清醒時的視覺信息總量。我們去年發布的 V-JEPA 2 已經在相當于一個世紀的視頻數據上進行了訓練。雖然視頻字節數多，但冗余度更高，而在自監督學習中，冗余恰恰是學習結構的關鍵。現實世界數據如視頻蘊含的結構遠比文本豐富，因此我斷言，僅靠文本訓練永遠無法實現人類水平的 AI。AI 必須根植于現實，而不能僅僅停留在符號操作層面。

06 世界模型的本質：模擬還是抽象？

視頻生成模型的視覺效果非常震撼，但這是否意味著它們已經掌握了世界模型？真正的世界模型應該如何處理現實世界中極度復雜且不可預測的細節？

Yann LeCun:談到世界模型，人們常誤以為它是能重現所有細節的模擬器。受深度學習熱潮影響，很多人專注于視頻生成，雖然視頻效果震撼，但并不保證 AI 系統掌握了世界底層的動力學，也不代表它學到了抽象知識。試圖重現現實每一個細節的想法不僅錯誤而且有害。

以計算流體力學（CFD）為例，人們使用超級計算機模擬飛機周圍的氣流。雖然將空間劃分為微小立方體并求解納維-斯托克斯方程能模擬氣流，但這本身就是一種抽象。真實的物理現象是空氣分子相互碰撞，但沒人會去模擬分子級別的運動，那需要的計算量是天文數字，且極度依賴初始條件。如果再往下探究，可能需要模擬量子級別的粒子路徑。最底層可能是量子場論，但那也只是現實的一種抽象。理論上，我們此刻的互動可以用量子場論描述，但這需要測量宇宙波函數，根本無法實現。因此我們發明了抽象，如粒子、原子、分子，在生物界則是蛋白質、細胞、器官、社會和生態系統。每一層抽象都忽略了下一層的細節，從而讓我們能做出更長期、更可靠的預測。我們可以用心理學來描述彼此的互動，這比粒子物理學的抽象層級高得多。科學的每一個分支，本質上都是由你做出預測時的抽象級別定義的。

在極高的抽象層面上，我們可以利用物理學的理想氣體狀態方程 。在全局浮現的現象學層面，如果你增加壓力，溫度就會升高；增加溫度，壓力也會升高；或者釋放一些粒子，壓力就會下降。我們始終在為復雜事物構建這種現象學模型，并忽略物理學家稱之為熵的各類細節。這是一種非常系統化的方法，也是我們理解世界的方式。我們不會死記硬背所感知的每一個細節，更不會試圖去重建它，因此世界模型根本不需要是模擬器。或者說，它們確實是模擬器，但存在于抽象的表征空間中，它們只模擬現實中相關的部分。舉個例子，如果我問你 100 年后木星的位置在哪里，盡管我們擁有海量的木星信息，但要做出這個預測，你只需要木星的三個位置坐標和三個速度矢量這六個數字，其余的信息完全不重要。

（關于游戲與合成數據）我認為它非常有用。來自游戲的數據能讓你學到很多知識，就像孩子們通過玩耍學到大量知識一樣。這本質上也是對世界的一種模擬，只不過是在不會產生致命后果的安全條件下進行的。但我擔心視頻游戲的局限性，比如為了追求視覺效果和酷炫感而設計的動畫，往往與物理現實不符。如果一個 AI 完全通過這類世界模型輔助訓練，短期內可能會帶上類似的怪癖。

這取決于在什么層級訓練它們。如果你使用非常精確的機器人模擬器，它確實能精確模擬手臂的動力學。當你施加扭矩時，它會按特定的軌跡移動。但這部分的動力學模擬沒問題，真正困難的是模擬操縱物體時的摩擦力。摩擦力極其難以精準模擬，因此目前的模擬器在處理精細操縱時并不特別準確。不過它們已經足夠讓 AI 學會基本技能，再通過一點適應性調整，就能實現從模擬到現實的遷移。

更重要的一點是，關于物理世界有很多極度基礎的規律，我們視為理所當然，并能從抽象層面習得，但這些與語言完全無關。例如桌子上放著這些物體，當我推桌子時，物體會隨之移動。這是我們后天習得的，而非與生俱來。再比如，當你放手時，大多數物體會因重力而墜落，嬰兒大約在九個月大時學會這一點。很多人質疑我，是因為我說大語言模型不懂這些，直到今天它們也確實不懂。雖然你可以通過微調讓它們在面對提問時給出正確答案，但那僅僅是某種背誦反芻，而非對底層動力學的真實理解。

目前一些前沿的視頻生成模型實際上是在表征空間中進行預測，利用 Diffusion Transformers 來計算視頻片段。這種計算是在抽象的表征空間完成的，并不總是自回歸生成的，有時是并行處理。然后由第二個擴散模型將這些抽象表征轉化為畫面精美的視頻。這其中可能存在模式崩塌（Mode collapse），因為我們目前無法真正衡量這類 AI 對現實世界的覆蓋精度。這里還有另一個對我們顯而易見、以至于不覺得需要學習的概念，但我們確實學過，即一個人不能同時出現在兩個地方。這是因為我們很早就掌握了客體永久性，意識到物體消失后依然存在。

要訓練 AI 學習這一概念，你只需要給它看大量視頻。當物體移動到屏障后又從另一側出現，或者屏障移開后物體仍在原處，這些都是正常的。當你給四個月大的嬰兒展示違反這些規律的場景時，他們會瞪大眼睛表現得極度驚訝，因為現實違反了他們的內部模型。同理，如果你讓一個小車從平臺上滑落卻漂浮在空中，九到十個月大的嬰兒會非常驚訝，而六個月大的嬰兒則幾乎沒反應，因為他們還沒習得重力的概念。這種學習才是真正關鍵的。

07 AI 安全應通過世界模型在架構層面實現約束

關于 AI 風險，以 Yoshua Bengio 為代表的末日論觀點引發了廣泛討論，你如何定位自己的立場？當智能達到犬類甚至人類臨界點時，危險性是否會失控？目前通過微調或限制輸出空間的策略是否足以應對安全挑戰？

Yann LeCun： 首先，我認為通用智能的概念完全站不住腳，這一概念的設計初衷是為了指代人類水平智能，但人類智能本質上是高度專業化的。人類擅長在現實世界中導航或進行社交互動，這是長期進化的結果，但在國際象棋等邏輯任務上，我們的原始天賦其實很弱。事實上，許多動物在特定領域的表現都遠超人類。我們之所以產生“通用智能”的幻覺，是因為我們只能感知到自己思維所能觸及的問題。我們在自己能想象到的問題領域表現得看似通用，但實際上存在大量我們無法想象的認知邊界。由于存在數學層面的論證支持，通用智能這一說法更像是某種偽命題。我們真正應該討論的是，機器是否能在所有人類擅長的領域達到甚至超越人類水平。答案是肯定的，且在翻譯、棋類等特定領域，AI 已經實現了超越。

（關于實現時間線）實現人類水平智能并非一蹴而就的突發事件，而是一個漸進的過程。未來幾年，我們可能會基于 JEPA 世界模型和規劃技術取得突破。如果路徑順暢且沒有不可預見的障礙，這或許是通往人類水平 AI 的理想路徑。樂觀估計，如果我們能在構建高效模型、處理連續噪聲信號及復雜規劃方面取得進展，可能在 5 到 10 年內實現接近犬類甚至人類水平的智能。但歷史經驗表明，AI 領域總會遇到未知的障礙，若需發明全新的底層概念，這一過程可能需要 20 年甚至更久。最難的部分其實是達到犬類智能，一旦實現了這一步，大部分核心要素就已具備。從靈長類到人類的跨越，除了大腦容量的增加，關鍵在于語言。在大腦中，語言主要由韋尼克區和布羅卡區處理，這些區域在進化史上出現得較晚，結構也并非想象中那么復雜。目前 LLM 在語言編碼與思想解碼方面表現優異，未來 LLM 或許可以充當 AI 系統的語言處理模塊，而我們目前研究的重點是前額葉皮層，這才是世界模型的核心所在地。

（關于風險管理）這種現象確實存在。幾個月前，我在紐約大學遇到過一名因受 AI 言論影響而情緒不穩定的男子。此外，我還收到過一些高中生的郵件，他們因深信末日論者關于 AI 毀滅世界或導致失業的言論而陷入重度抑郁。我告訴他們，人類依然會掌握主動權。技術進步史證明，任何強大的技術都伴隨著副作用，關鍵在于權衡與修正。以噴氣發動機為例，其可靠性完全建立在工程與材料學的進步之上。我們將先制造出具有代理能力的、擁有世界模型的系統，即便其智力僅相當于貓腦水平，我們也會為其設置護欄。Stuart Russell 曾舉過“機器人為了拿咖啡而傷害阻擋者”的例子，這其實是很容易解決的工程問題，只需在底層邏輯中加入避開人類的硬性約束即可。

（關于安全手段）我不贊成通過簡單的微調來解決 LLM 的安全問題，因為這種方式很容易被越獄。我們應該采用目標驅動的 AI 架構。在這種架構中，系統通過世界模型預測后果，并通過優化算法尋找最優動作序列，同時必須滿足所有安全約束。這種本質安全性是由架構邏輯決定的，而非后期修補。目前一些限制 LLM 輸出空間的技術有用，但成本高得離譜。目前的做法是讓系統生成大量候選輸出，再通過過濾器進行毒性評級和篩選，這種方式極其低效。除非我們能開發出目標驅動的價值函數，從源頭上驅動系統產生高質量、符合安全標準的輸出。

08 Meta 的 AI 布局與組織架構深度解析

目前 Meta 內部的組織架構和研發方向正在經歷哪些重要調整？在 Alex Wang 監督下的四大部門如何分工？FAIR 的定位發生了怎樣的改變？

Yann LeCun： 高得分、低毒性的 AI 系統輸出往往伴隨著高昂的成本。在 Meta 內部，目前 Alex Wang 負責監督所有與 AI 相關的研發和產品工作，他管理著整個運營體系。在他的組織架構下，Meta 超智能實驗室分為四個主要部門。首先是 FAIR，專注于長期基礎研究。其次是 TBD 實驗室，主要致力于構建前沿模型，且研發重點幾乎完全集中在大語言模型（LLM）上。第三個部門是 AI 基礎設施，負責軟件基礎設施的開發。最后一個是產品部門，負責將前沿模型轉化為用戶可用的聊天機器人，例如將 AI 功能整合進 WhatsApp 等應用。

（關于 FAIR 的變化）目前 FAIR 的研發導向正在發生變化，開始轉向一些周期較短的項目。與以往重視論文發表的傳統相比，FAIR 現在更加強調對 TBD 實驗室在 LLM 和前沿模型開發方面的支持。這種轉變意味著 Meta 的技術生態正在變得更加封閉，發表的研究成果也在減少。在具體的團隊劃分上，TBD 實驗室設有專門研究 LLM 的首席科學家，而其他部門則更偏向基礎設施和產品。以開發“分割一切模型”的團隊為例，他們最初隸屬于 FAIR，但由于其工作更偏向面向外部的實際應用，目前已被劃歸至產品部門。

09 Scaling Law 不是通往超智能的唯一路徑，AI 必須處理連續高維的現實數據

硅谷目前是否存在技術路徑的單一化傾向？除了主流的 LLM 路徑，有哪些團隊在嘗試不同的路徑？為什么你認為 JEPA 是處理工業應用數據的關鍵？

Yann LeCun： 當前硅谷工業界存在一種明顯的“羊群效應”，由于競爭極度白熱化，各大主流 AI 巨頭往往傾向于采用相同的技術路徑。這種趨勢導致了技術的單一化。所謂的“LLM 執念”開始盛行，這種觀點認為實現超智能的唯一路徑就是通過 Scaling Law 不斷擴展 LLM。但我認為這種思路無法真正通往超智能。目前流行的推理技術，本質上是產生超長的思維鏈，讓系統生成海量的 Token 輸出，再通過評估函數篩選結果，這種方法并不能解決根本問題。

（關于非 LLM 路徑）我們需要一種完全正交的技術方案。在硅谷，雖然許多公司都在涌向 LLM 領域，但也有一些團隊在嘗試不同的路徑。例如 Physical Intelligence 專注于生成幾何結構正確的視頻。在世界模型領域，Wayve 展現出了更具潛力的路徑，他們在抽象的表示空間中訓練預測器，以實現時間維度的序列預測。此外，Nvidia 以及 Sandbox AQ 等公司也在關注定量模型。這些模型旨在處理連續、高維且嘈雜的預測任務。聯合嵌入預測架構（JEPA）和世界模型的初衷，就是為了處理那些 LLM 無法勝任的數據類型。為了打破這種技術壟斷和思維定式，必須逃離這種單一文化。我正在招攬那些不迷信 LLM 路徑的人才，共同開發能夠真正輔助人類的智能系統。

10 個人使命與生涯建議：增加世界的智能總量

對于想要開啟 AI 生涯的年輕人，你應該學習哪些知識？如何看待 AI 對編程的影響？AI 最終是否會產生統治人類的欲望？

Yann LeCun： 我始終認為，通過機器輔助來提升人類的智慧，增加世界上的智能總量，是一件本質上正確的事情。回顧我的整個職業生涯，其核心目標都是一致的：讓人們變得更聰明。AI 并不因為具備智能就必然產生統治或接管的欲望，人類之所以有統治欲望，是因為我們作為社會物種，這種驅動力是由進化預設的。但在我們構建的智能中，完全沒有理由加入這種驅動力，它們也不會自發產生這種欲望。

（關于思想演進）思想的誕生極其復雜，很少有人能完全孤立地提出一個主意。反向傳播就是一個典型案例，雖然我理清了全部邏輯，但在他人發表成果前未能正式成文。世界模型的概念可以追溯到 60 年代的最優控制理論，而卷積網絡利用局部連接提取特征的概念在 60 年代就已存在。所謂的抄襲指控毫無意義，這完全是對思想演進過程的誤解。

（關于學習建議）如果你今天開啟 AI 生涯，你應該學習那些具有長期價值的知識。這種能力源于對基礎學科的掌握。你要專注于經得起時間考驗的學科，這些知識往往不在計算機科學課程里。我本科是學電氣工程的，你應該學習數學和建模中的基礎知識，尤其是概率論、線性代數、控制理論或信號處理。此外，物理學也是極好的選擇，物理學的核心在于如何通過表示現實來構建預測模型，而這正是智能的本質。

（關于編程未來）未來大部分代碼可能都是一次性的。編寫代碼的成本會變得極其廉價，你只需吩咐 AI 助手，AI 會瞬間生成一段小程序，你用完即棄。那種認為不再需要程序員的觀點是錯誤的，計算機不僅不會變得沒用，反而會變得更有用。

（關于 Linux 式目標）Linux 創始人曾說他的目標是“全面統治”，他居然真的做到了，現在全世界幾乎每一臺計算機都在運行 Linux。我們要構建的 AI 也應在日常生活中為全人類提供幫助。AI 將始終是放大人類智能的工具，而不是人類的老板，它們不會統治我們，我對未來非常樂觀。

11 神經科學與 AI：靈感來源與反哺

您如何看待神經科學與機器學習之間的互動關系？在卷積網絡的設計中，您是如何借鑒生物視覺皮層架構的？未來是否會有更多借鑒大腦模塊化（如海馬體）的新型架構出現？

Yann LeCun:我確實深受神經科學經典研究的影響。比如視覺皮層架構的研究，這正是卷積網絡的靈感來源。我并不是第一個將這些想法引入人工神經網絡的人。早期的研究者嘗試構建多層局部連接網絡，但缺乏反向傳播這種有效的訓練手段。例如福島邦彥（Kunihiko Fukushima）開發的 Neocognitron 具備了現代卷積網絡的很多要素，只是缺少合適的學習算法。

Neocognitron 試圖復刻每一個生物學細節，比如大腦中并沒有正負權重，而是存在正向和負向神經元。抑制性神經元的突觸具有負權重，而非抑制性神經元則具有正權重。他還模擬了神經元的脈沖發放，雖然沒有精確的脈沖神經元模型，但他意識到脈沖數不可能是負的，所以他使用了帶飽和點的整流函數。這種機制后來被證實與視覺皮層理論模型高度吻合。

所以，神經科學一直是重要的靈感來源。最近，人們開始關注大腦的宏觀架構，比如世界模型和規劃模塊。為什么大腦會有專門處理事實記憶的海馬體？現在在某些神經網絡架構中，我們也看到了獨立的存儲模塊。我認為未來會出現更多新型的 AI 架構，而我們往往會在事后發現，這些特征其實在大腦中早有對應。事實上，現在的趨勢是 AI 正在反哺神經科學，目前解釋人類感知的最佳模型其實就是卷積網絡。

12 專家系統與 AGI 的輪回

當前社會對 AI 導致的失業風險和 AGI 的實現時間極其焦慮。作為行業先行者，您為何建議我們要審慎選擇聽信的對象？歷史上的“專家系統”和“通用問題求解器”帶給我們哪些關于復雜性理論的教訓？

Yann LeCun:我想提醒大家，要審慎選擇你聽信的對象。千萬不要聽 AI 科學家談論經濟學。當某些 AI 專家甚至商業巨頭宣稱 AI 會導致所有人失業時，去請教一下真正的經濟學家。你會發現幾乎沒有職業經濟學家認同這種極端觀點。技術革命對勞動力市場的影響是一個非常專業的領域，在那些畢生研究該領域的學者中，沒有人預測會出現大規模失業，也沒有人認為放射科醫生會集體下崗。此外，我們要意識到，將 AI 部署到實際應用中并使其達到足夠的可靠性，是一件極其困難且昂貴的事情。

在之前的 AI 浪潮中，很多曾被寄予厚望的技術最終都因過于笨重和昂貴而難以落地。比如 80 年代的專家系統熱潮，當時日本啟動了宏大的第五代計算機項目，試圖開發運行 Lisp 語言和推理引擎的專用 CPU。當時最炙手可熱的職業是知識工程師，工作就是把專家的知識轉化為邏輯規則。這其實就是早期的手動行為編碼。雖然它在某些領域發揮了作用，但并不是通向人類水平智能的道路。

今天人們產生了一種幻覺，認為當前的 AI 主流路徑能直接帶我們走向人類智能，這種幻覺在歷史上已經出現過多次。看看當年人們對感知機的評價，甚至有預言稱十年內就能實現超級智能。瑪文·明斯基在 60 年代也預言過十年內計算機將擊敗世界頂尖棋手，結果花了幾十年才實現。這種循環一再上演。比如 1956 年的通用問題求解器，制作者認為所有問題都能轉化為目標搜索過程。但他們當時并不了解復雜性理論，實際上大部分有趣的問題在計算上都是指數級的或是 NP 完全的。于是他們只好轉向啟發式編程，為每個問題設計專門的啟發式方法。最終證明，通用問題求解器一點也不通用。所以，那種認為最新的一項技術就能帶我們實現 AGI 或者 Scaling Law 的想法是非常危險的。在過去的七十年里，無數聰明人都掉進過這個陷阱。

13 攻克持續學習難題：自監督學習的技術閉環

“災難性遺忘”一直是深度學習的頑疾。您認為 AI 領域能徹底解決持續學習或增量學習的難題嗎？在您的研究中，有哪些具體的案例證明了動態調整模型頂層可以應對環境變化？

Yann LeCun:當然可以，這在技術上并不是死胡同。關于災難性遺忘，你可以只訓練模型的一小部分。事實上，我們已經在自監督學習（Self-Supervised Learning，簡稱 SSL）中這樣做。比如我們訓練 VJAT 2 這種視頻模型，它能產生非常優秀的視頻表征。如果你想讓它完成特定任務，只需在頂層訓練一個輕量級的頭部即可。這個頭部可以持續學習，甚至你的世界模型也可以實現持續訓練。

我不認為這算是一個巨大的挑戰。早在 2005 年，我和同事就為移動機器人構建過基于視覺的導航系統，那個系統使用了卷積網絡進行語義分割，網絡的頂層會根據當前環境進行實時動態調整。只要有多模態數據，這就是可以實現的。

| 文章來源：數字開物

【AI技術與應用交流群｜僅限受邀加入】

AI算力領域TOP級從業者專屬圈層

√ 與頭部算力企業深度對話

√ 與AI上下游企業深度對話

√ 獲取一手全球AI與算力產業信息

√ 獲取AI熱點及前沿產業獨家信息

√ 隨時了解全球AI領域高管最新觀點及實錄全文

√ 有機會參與AI主題產業交流活動

掃碼驗證身份（需備注姓名/公司/職務

不止有 DeepSeek，更有 AI產業的未來！

? END ?

【專欄】精品再讀