LeCun曝Meta作弊刷榜，田淵棟：我沒想到這個結(jié)局

鷺羽 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

離職的LeCun，反手就給Meta一記重錘：差評如潮的Llama4真的作弊刷榜了！

• 結(jié)果的確被篡改了一點。
  為了更好的結(jié)果，團隊對不同基準測試使用了不同的模型

都說別惹離職er，不止LeCun，田淵棟也在個人年終總結(jié)中透露了一點內(nèi)幕。

• 明明是被拉來給Llama4救火的，事先預想了四種可能，結(jié)果小扎給了我第五種……

（扶額苦笑.jpg）

Anyway，至于離職后的打算，兩位大神都不約而同地表示：

創(chuàng)業(yè)！

Llama4刷榜引發(fā)的離職潮

DeepSeek還是給小扎壓力太大。

此前就有消息爆料，DeepSeek的橫空出世，讓Llama 4還沒發(fā)布就被甩在身后，逼得小扎瘋狂加碼AI投資。

這一點也得到了LeCun的證實。

小扎確實慌了，對內(nèi)push上強度，要求GenAI部門加速AI開發(fā)和部署，還拉來原FAIR團隊的田淵棟救火。

結(jié)果就是，團隊之間溝通直接破裂。LeCun他們想要做些新東西，但小扎更想要已經(jīng)被驗證過的、可以直接落地的技術(shù)。

真正的導火索則來自于Llama 4的慘敗。

不僅輸了，還因為排行榜造假名聲大跌，于是小扎徹底對團隊所有人失去了信心，并將他們?nèi)窟吘壔?/p>

這也直接導致Meta開啟了團隊大換血：一邊天價從硅谷各個公司挖人，一邊又大刀闊斧裁掉老員工們。

田淵棟及其團隊則是被率先波及的一群人。

一月份被趕鴨子上架加入Llama 4，十月份Llama 4.5一訓完就被卸磨殺驢。

這波田淵棟都得喊冤……

因為上頭的壓力，全組被迫放下手頭正在做的工作，來Llama 4接爛攤子，距離發(fā)布ddl就剩2個月，還要處理所有dirty work。

為此，田淵棟那時還專門畫了個2x2的回報矩陣，計算了下干這事的四種結(jié)局：

但老板都發(fā)話了，不得不干啊，田淵棟想著那就但求盡力而為，問心無愧吧。

結(jié)果哼哧哼哧干了幾個月，小扎一個都沒選，給了Plan E：不問責負責人，轉(zhuǎn)頭把田淵棟和組員們一腳踢了出去。

難怪田淵棟復盤這段經(jīng)歷時，也要來一句：

• 這也讓我對這社會的復雜性有了更為深刻的認識。

不過好在田淵棟自己也想得開，他說自己已經(jīng)待在Meta十多年了，最近幾年更是抱著“公司快把我開了吧”的心態(tài)，所以也算是因禍得福吧，還給他接下來的小說創(chuàng)作提供了很多新素材（doge）。

（咳咳）言歸正傳，這幾個月對于田淵棟來說，也不算一無所獲，在強化學習訓練的核心問題上他也有了些新的探索。

首先是大模型推理，繼2024年底團隊公開的連續(xù)隱空間推理（coconut）引發(fā)廣泛關(guān)注后，團隊繼續(xù)通過理論工作Reasoning by Superposition進一步闡明了連續(xù)隱空間推理的優(yōu)勢所在。

與此同時，也分別從不同角度嘗試提升模型推理效率：Token Assorted通過隱空間的離散token減少計算開銷、DeepConf基于置信度提前終止推理、ThreadWeaver制造并行思維鏈加速推理，以及在不同規(guī)模模型中用RL學習推理能力。

在可解釋性方面，研究聚焦于Grokking（頓悟） 這一特征涌現(xiàn)現(xiàn)象，從記憶到泛化的突變過程入手，試圖解釋模型究竟學到了什么、和輸入數(shù)據(jù)的關(guān)系、能達到怎樣的泛化，也就是打開模型的黑箱。

簡而言之，對于被拉來“背黑鍋”這事，田淵棟對老東家還是手下留情了，雖然你不地道，但我已經(jīng)Let it go～

不過緊隨其后離職的LeCun就沒那么心軟了，直接痛批Meta內(nèi)部對LLM上癮過甚，尤其是那些新挖來的超級智能實驗室成員。

他點名批評亞歷山大王：年輕且缺乏經(jīng)驗。

雖然學得快，但壓根不懂研究，不知道怎么做、也不知道如何和研究員們共處。

在LeCun面前，這個27歲的年輕人，簡直像個little baby。

但大語言模型并非他們所想象的那樣美好，LeCun直言，LLM有用但本質(zhì)受限于語言，夸張一點說：

• LLM是死胡同。

要實現(xiàn)人類水平智能，就必須了解物理世界的運作規(guī)律，也就是LeCun長期專注的世界模型，但Meta對此已經(jīng)喪失了興趣。

在研究路線上的分歧，也讓LeCun不得不離開公司，開啟自己人生的下一章——創(chuàng)業(yè)。

離開Meta做點啥？創(chuàng)業(yè)

LeCun的新公司名為Advanced Machine Intelligence（AMI），做的還是他心心念念的世界模型，而且all in開源。

不過據(jù)他自己透露，他只會擔任新公司的執(zhí)行主席而不是CEO。

• 我是一名科學家，我能激勵人們從事工作，以及猜測哪項技術(shù)會成功，但我不擅長組織管理，也實在太老了。

LeCun將擁有和之前在Meta相同的研究自由度，而負責帶領(lǐng)AMI的將交給法國醫(yī)療AI初創(chuàng)公司Nabla的聯(lián)合創(chuàng)始人兼CEO Alex LeBrun。

他們將目光聚焦在V-JEPA架構(gòu)上，試圖通過學習視頻和空間數(shù)據(jù)來理解物理世界，讓AI完成規(guī)劃、推理并擁有長期記憶，也就是他常說的高級機器智能。

LeCun預計將在12個月內(nèi)，見證該項技術(shù)的初始版本誕生，并在最近幾年內(nèi)實現(xiàn)大規(guī)模進展，雖然它顯然還遠遠稱不上超級智能，但至少在通往AGI的道路上，它存在希望。

而作為LeCun的老下屬，田淵棟也拒絕了大廠們紛紛為他拋來的橄欖枝，剛剛正式宣布創(chuàng)業(yè)！

具體細節(jié)暫時未表，但他表示：

• 乘著自己還年輕，去當一家新初創(chuàng)公司的聯(lián)合創(chuàng)始人。

不管怎樣，先安靜地忙活一陣。

參考鏈接：
[1]https://www.ft.com/content/e3c4c2f6-4ea7-4adf-b945-e58495f836c2
[2]https://zhuanlan.zhihu.com/p/1990809161458540818