對(duì)話智源研究院：多模態(tài)世界模型如何實(shí)現(xiàn)“大一統(tǒng)”？

文｜魏琳華

編｜王一粟

從去年10月發(fā)布全球首個(gè)原生多模態(tài)世界模型悟界·Emu3，到如今推出全面升級(jí)的悟界·Emu3.5，智源研究院用一年時(shí)間，找到了更多具備開(kāi)創(chuàng)性的新解法。

10月30日，在悟界·Emu系列技術(shù)交流會(huì)上，智源發(fā)布Emu3.5被定義為“多模態(tài)世界模型”，與專注于內(nèi)容（如視頻）“生成”的模型不同，其核心在于“理解、預(yù)測(cè)與規(guī)劃”，它不僅能生成對(duì)未來(lái)的預(yù)測(cè)，更致力于構(gòu)建一個(gè)關(guān)于世界如何運(yùn)作的內(nèi)在模型。

Emu3.5的架構(gòu)設(shè)計(jì)證明了一條更簡(jiǎn)潔、更具擴(kuò)展性的技術(shù)路徑是可行的。

此前，和路徑相對(duì)確定的大語(yǔ)言模型相比，圍繞多模態(tài)大模型領(lǐng)域還存在種種問(wèn)題。比如采用自回歸架構(gòu)還是基于擴(kuò)散模型的架構(gòu)，業(yè)內(nèi)仍然沒(méi)有給出一個(gè)確切的答案。

雖然自回歸架構(gòu)雖然在統(tǒng)一性上有優(yōu)勢(shì)，但在生成效率上常受逐步解碼限制；相比之下，擴(kuò)散模型目前應(yīng)用范圍廣，但受限于推理步數(shù)與長(zhǎng)時(shí)一致性，隨著模型規(guī)模提升，在推理成本與時(shí)長(zhǎng)可擴(kuò)展性上會(huì)遇到瓶頸。

智源發(fā)布的Emu3.5模型采用了單一的自回歸Transformer架構(gòu)。為了解決生成效率的問(wèn)題，Emu3.5通過(guò)創(chuàng)新的”離散擴(kuò)散自適應(yīng)”（DiDA）技術(shù)，將自回歸模型的生成效率提升近20倍，使其在速度上能夠媲美頂尖的擴(kuò)散模型。

“通過(guò)Emu3，我們驗(yàn)證了自回歸架構(gòu)實(shí)現(xiàn)多模態(tài)理解與生成大一統(tǒng)的可行性，Emu3.5則開(kāi)啟了多模態(tài)Scaling的新時(shí)代。”智源研究院院長(zhǎng)王仲遠(yuǎn)說(shuō)。

相比Emu3，Emu3.5的訓(xùn)練規(guī)模有了質(zhì)的飛躍：模型參數(shù)從80億擴(kuò)展到340億，累計(jì)視頻訓(xùn)練時(shí)長(zhǎng)從15年增加到790年。更重要的是，Emu3.5首次實(shí)現(xiàn)了多模態(tài)領(lǐng)域的大規(guī)模強(qiáng)化學(xué)習(xí)，這為多模態(tài)模型的Scalingup指明了方向。

實(shí)際測(cè)試中， Emu3.5的表現(xiàn)超越了眾多知名閉源模型，達(dá)到SOTA效果。官方表示，Emu3.5在圖像生成和編輯任務(wù)上取得了與Gemini 2.5 Flash Image（Nano Banana）相媲美的性能，并在系列圖文交錯(cuò)生成任務(wù)中展現(xiàn)出更優(yōu)異的結(jié)果。

在交流會(huì)現(xiàn)場(chǎng)，研究團(tuán)隊(duì)展示了Emu3.5在具身操作、世界探索、視覺(jué)指導(dǎo)等多個(gè)場(chǎng)景的應(yīng)用能力。從眾多測(cè)試結(jié)果來(lái)看，它能夠做到類似Genie 3的場(chǎng)景交互、支持圖片編輯修改等操作。

Emu3.5的意義不僅在于技術(shù)突破，更在于為具身智能的發(fā)展提供了全新的可能性。

交流會(huì)上，智源研究院表示，Emu3.5為具身智能提供了堅(jiān)實(shí)的世界模型支撐，推動(dòng)具身智能從數(shù)據(jù)稀缺和規(guī)劃瓶頸向更可靠、泛化的方向演進(jìn)。傳統(tǒng)機(jī)器人往往局限于預(yù)設(shè)指令或特定場(chǎng)景數(shù)據(jù)，Emu3.5的價(jià)值在于數(shù)據(jù)生成、高級(jí)任務(wù)規(guī)劃和泛化推理能力，推動(dòng)具身智能向更“智能”的方向發(fā)展。

長(zhǎng)坡厚雪，智源研究院在原生多模態(tài)領(lǐng)域邁出了重要的一步，但如何解決模型遺忘等等問(wèn)題，還需要更多探索。

談及發(fā)展的下一步，王仲遠(yuǎn)和模型團(tuán)隊(duì)負(fù)責(zé)人王鑫龍回應(yīng)光錐智能，希望接下來(lái)進(jìn)一步擴(kuò)大模型參數(shù)。

“當(dāng)前Emu3.5的參數(shù)是34B，語(yǔ)言模型現(xiàn)在都已經(jīng)到萬(wàn)億級(jí)別。”王仲遠(yuǎn)說(shuō)，“如果有更大的參數(shù)，投入更多的算力，我們相信基于Emu3.5架構(gòu)的這樣一個(gè)多模態(tài)世界模型能力還會(huì)有躍升。”

以下為溝通會(huì)問(wèn)答環(huán)節(jié)實(shí)錄（經(jīng)光錐智能編輯整理）。

受訪者嘉賓為：

智源研究院院長(zhǎng)王仲遠(yuǎn)

智源研究院多模態(tài)大模型團(tuán)隊(duì)技術(shù)負(fù)責(zé)人王鑫龍

Q： 剛才我們提到了Emu3.5可以應(yīng)用在具身智能領(lǐng)域，請(qǐng)問(wèn)我們的模型有沒(méi)有已經(jīng)和機(jī)器人領(lǐng)域的一些機(jī)構(gòu)或企業(yè)有過(guò)合作？

A：智源研究院自己就在研發(fā)RoboBrain系列的具身大模型，這些模型已經(jīng)在跟國(guó)內(nèi)非常廣泛的具身機(jī)器人公司合作，包括不限于星海圖、星動(dòng)際元、樂(lè)聚、宇樹(shù)科技等。

Emu3.5具備進(jìn)一步提升具身智能基座模型的能力，包括探索新的具身智能技術(shù)路線的可能性。我們已經(jīng)開(kāi)始做了一些初步嘗試，例如剛才展示的，能夠預(yù)測(cè)機(jī)械臂操作所需的數(shù)據(jù)，這些數(shù)據(jù)原來(lái)可能需要真機(jī)采集，現(xiàn)在我們可以非常精準(zhǔn)地生成大量數(shù)據(jù)。

過(guò)往真機(jī)采集數(shù)據(jù)可能在固定場(chǎng)景，但現(xiàn)在通過(guò)世界模型能力，它能夠泛化到?jīng)]見(jiàn)過(guò)的場(chǎng)景。在沒(méi)見(jiàn)過(guò)場(chǎng)景下，別的模型可能是0，但用上Emu3.5它可以直接達(dá)到70%。這是我們的一個(gè)方向，現(xiàn)在也在進(jìn)一步擴(kuò)大規(guī)模，把真機(jī)各種場(chǎng)景都去嘗試一下。

Q： 關(guān)于模型效率的問(wèn)題，前段時(shí)間李飛飛的項(xiàng)目說(shuō)一塊GPU可以搞定推理，想問(wèn)問(wèn)我們效率怎么樣？

A：首先，行業(yè)內(nèi)各種模型都在進(jìn)行推理優(yōu)化，隨著模型的發(fā)展，甚至?xí)霈F(xiàn)推理效率的“新摩爾定律”，即成本不斷降低，性能無(wú)損。這是各家廠商和科研機(jī)構(gòu)都在努力的方向。

對(duì)于Emu3.5，我們最大的貢獻(xiàn)是在自回歸架構(gòu)上實(shí)現(xiàn)了近乎并行的多Token生成，且實(shí)現(xiàn)性能無(wú)損。由此，我們首次用包含離散Token的自回歸架構(gòu)，在圖像生成上與主流擴(kuò)散式方法相媲美，我們的開(kāi)源模型比肩閉源的圖像生成能力。

對(duì)于效率方面，我們還是比較有信心。原來(lái)原生多模態(tài)的成本極高，我們現(xiàn)在的這套技術(shù)一次20倍的加速，可以說(shuō)是把原生多模態(tài)的成本砍下來(lái)了。

Q： 對(duì)于世界模型和機(jī)器人的商業(yè)化路徑，目前咱們探索出哪些可行的方向？比如說(shuō)Emu3.5與藥房機(jī)器人的結(jié)合，這些案例能否復(fù)制到更多行業(yè)？

A：未來(lái)這些都是可以的。我們的悟界EMU系列（多模態(tài)世界大模型）和悟界RoboBrain系列（具身大小腦模型），都會(huì)快速推動(dòng)具身智能向更多的場(chǎng)景，實(shí)現(xiàn)能力上的泛化。

就像剛才所介紹的，現(xiàn)在做具身智能，很多時(shí)候真機(jī)只能采集到具體場(chǎng)景有限的數(shù)據(jù)。通過(guò)Emu3.5，它可以產(chǎn)生泛化的數(shù)據(jù)，這能夠極大地提高具身模型，包括具身機(jī)器人、機(jī)械臂在實(shí)際場(chǎng)景中處理泛化性的能力，自然而然就會(huì)推動(dòng)整個(gè)具身更快進(jìn)入一些真實(shí)的場(chǎng)景中。

Q： 數(shù)據(jù)采集和數(shù)據(jù)缺失是一個(gè)痛點(diǎn)，另外一個(gè)痛點(diǎn)在沒(méi)見(jiàn)過(guò)場(chǎng)景執(zhí)行的準(zhǔn)度和任務(wù)度，我們整個(gè)模型在數(shù)據(jù)的執(zhí)行精度和任務(wù)度上能完成什么樣復(fù)雜的動(dòng)作呢？

A：Emu3.5具備在具身智能上做Next-State Prediction（下一個(gè)狀態(tài)預(yù)測(cè)）的能力，在時(shí)序推理與行動(dòng)預(yù)測(cè)上更接近人類大腦的處理方式。

我們認(rèn)知到其實(shí)整個(gè)具身智能行業(yè)現(xiàn)在面臨著非常多的挑戰(zhàn)，包括：硬件本體不成熟、數(shù)據(jù)缺乏、模型能力不強(qiáng)、應(yīng)用場(chǎng)景比較弱。因此，盡管具身智能有多種范式，在實(shí)際發(fā)展中仍會(huì)遇到大量問(wèn)題。Emu3.5有望成為具身智能的基座模型，但這中間還有大量的工作需要去做。

具身智能更大的關(guān)鍵不在“具身”，而在“智能”。 智能并不會(huì)因僅有硬件而自然產(chǎn)生，我們希望第一步先把智能基礎(chǔ)打牢，讓模型能夠泛化到未見(jiàn)過(guò)的場(chǎng)景，現(xiàn)在已經(jīng)有一些喜人的進(jìn)展。比如在一些想象的場(chǎng)景中，“把火星上的宇航員救起來(lái)”，或者生成“疊衣服”這類可能包含數(shù)十步的復(fù)雜操作，且是在任意場(chǎng)景中完成——這些數(shù)據(jù)往往難以真實(shí)采集（實(shí)驗(yàn)場(chǎng)景中大部分疊衣服都在干凈的臺(tái)面上完成）。但是現(xiàn)在有了基礎(chǔ)模型能力之后，可以支持各種場(chǎng)景、各種任務(wù)，顯著釋放智能的想象空間與可用性。

Q：咱們說(shuō)預(yù)訓(xùn)練模型的時(shí)候，采用大規(guī)模長(zhǎng)視頻數(shù)據(jù)， 這個(gè)數(shù)據(jù)做了什么特別的處理嗎？直覺(jué)來(lái)講大家可能會(huì)想到長(zhǎng)視頻的數(shù)據(jù)，為什么當(dāng)時(shí)大家沒(méi)有這么做？現(xiàn)在你們做具備了什么樣的條件？

A：用長(zhǎng)視頻數(shù)據(jù)來(lái)學(xué)習(xí)，一直都是多模態(tài)大模型，尤其是原生多模態(tài)大模型努力的一個(gè)方向。全球范圍內(nèi)確實(shí)有一些科研團(tuán)隊(duì)，包括一些企業(yè)機(jī)構(gòu)在嘗試做這件事情，但是它的挑戰(zhàn)非常大。

剛剛王鑫龍?jiān)谡故疚覀僉oss曲線的時(shí)候強(qiáng)調(diào)“Loss下降非常穩(wěn)定”，要實(shí)現(xiàn)這一點(diǎn)，背后涉及一系列挑戰(zhàn)，包括數(shù)據(jù)應(yīng)該怎么設(shè)計(jì)，初期數(shù)據(jù)的配比，包括到底選用什么樣的視頻等等，這些都是過(guò)去幾年時(shí)間我們集中攻關(guān)的。

Emu3.5是去年3月份正式立項(xiàng)，整個(gè)科研團(tuán)隊(duì)在反復(fù)試錯(cuò)中持續(xù)突破，遇到了一個(gè)又一個(gè)新的挑戰(zhàn)，攻克了一個(gè)又一個(gè)難關(guān)。到今天我們能夠非常自豪地說(shuō)：在自回歸這條路線上，我們生成的效果和速度可以媲美Diffusion方法，并且有更好的上限空間。智源研究院真的走出了一條新的大模型的路。我們也期待這條路后續(xù)成為主流的路。

登珠穆朗瑪峰，南坡和北坡也許都可以登峰，我們希望我們走的是大家認(rèn)可的一條路，我們也會(huì)把我們的基座模型開(kāi)源，期待生態(tài)共同拓展。

關(guān)于長(zhǎng)視頻，我們一直在推進(jìn)。核心的問(wèn)題在于：到底用什么架構(gòu)才能夠支撐有效的Scaling up。受益于此前EMU系列的一些研究，現(xiàn)在在我們的自回歸架構(gòu)下可以非常方便地把長(zhǎng)視頻學(xué)進(jìn)去，能實(shí)現(xiàn)大規(guī)模的預(yù)訓(xùn)練和大規(guī)模的多模態(tài)RL。從訓(xùn)練視角看，判斷一個(gè)架構(gòu)是否可擴(kuò)展，關(guān)鍵在于能否同時(shí)滿足“可進(jìn)行大規(guī)模預(yù)訓(xùn)練”和“可進(jìn)行大規(guī)模RL”，現(xiàn)在很多架構(gòu)要么只能滿足一個(gè)，要么兩個(gè)都不滿足，現(xiàn)在Emu3.5現(xiàn)在兩者均已打通，這是訓(xùn)練的角度。從推理的角度，長(zhǎng)視頻推理需要有更高效的加速方案，只有技術(shù)創(chuàng)新到位，才能把數(shù)據(jù)真正“學(xué)進(jìn)去”，把能力體現(xiàn)出來(lái)。

Q：前不久我們跟大模型研發(fā)人士交流，討論到最近幾個(gè)月模型差距在拉大，您怎么看？從您研發(fā)的世界模型視角，咱們智源處于什么情況？

A：謹(jǐn)代表個(gè)人觀點(diǎn)。我們要正視國(guó)內(nèi)大模型和全世界最先進(jìn)的大模型，一直都處在你追我趕的階段。比如說(shuō)今年年初DeepSeek的發(fā)布，讓我們能夠至少在語(yǔ)言模型上，開(kāi)始有了一個(gè)追趕甚至接近的情況。

關(guān)于“差距拉大”的討論，一方面從已公開(kāi)的模型與開(kāi)源結(jié)果對(duì)比來(lái)看，當(dāng)前階段確有差距有拉大的現(xiàn)象。在9月底的時(shí)候，我們公布了一個(gè)對(duì)60多款推理大模型的評(píng)測(cè)報(bào)告，結(jié)果顯示國(guó)際最先進(jìn)的模型較目前多數(shù)國(guó)產(chǎn)的模型仍保持明顯的領(lǐng)先。另一方面，我相信國(guó)內(nèi)各家科研機(jī)構(gòu)和公司，也一定會(huì)在包括像語(yǔ)言模型，后訓(xùn)練及推理模型上有很多新的模型還在訓(xùn)練當(dāng)中，后續(xù)進(jìn)展值得期待。

就智源自身而言，我們悟界·Emu3.5開(kāi)啟了多模態(tài)世界大模型的新時(shí)代，某種程度上可以證明中國(guó)科研機(jī)構(gòu)，在堅(jiān)持默默無(wú)聞地做一些原始的科研創(chuàng)新。在當(dāng)前階段，EMU系列在其所定位的方向與能力上已取得具有國(guó)際競(jìng)爭(zhēng)力的進(jìn)展，并在若干維度達(dá)到國(guó)際領(lǐng)先水平。

Q： 現(xiàn)在文字類和視頻類的模型發(fā)展速度很快，多模態(tài)其實(shí)比較慢，您感覺(jué)在技術(shù)側(cè)，包括各個(gè)方面它限制性的因素還有哪一些？

A：因?yàn)榧夹g(shù)路線沒(méi)有收斂，與我們對(duì)于整個(gè)行業(yè)技術(shù)路線的判斷一致，市面上很多方案仍是將多模態(tài)理解和多模態(tài)生成割裂開(kāi)來(lái)，采用組合式管線處理。比如以大語(yǔ)言模型為核心學(xué)語(yǔ)言，再以DiT等模塊處理多模態(tài)。這樣會(huì)帶來(lái)一系列問(wèn)題，包括跨模塊協(xié)同成本、端到端優(yōu)化困難，以及“遺忘/記憶”的問(wèn)題長(zhǎng)期未被很好地解決，上述因素共同限制了多模態(tài)系統(tǒng)的效率與可擴(kuò)展性。

我們認(rèn)為悟界·Emu3.5代表了一條可擴(kuò)展的多模態(tài)智能路徑。我們有理由相信，通過(guò)這項(xiàng)探索，我們正在逐步厘清通向真正意義上通用智能的技術(shù)路線。

Q：在大規(guī)模預(yù)訓(xùn)練的時(shí)候， 我們?cè)谟?xùn)練模型的什么能力？我們建立了怎樣的獎(jiǎng)勵(lì)機(jī)制？或者說(shuō)怎么樣進(jìn)階它的下一個(gè)能力？

A：我之前舉過(guò)一個(gè)例子，今年春節(jié)期間，我觀察到一個(gè)兩歲的小女孩學(xué)會(huì)串糖葫蘆，沒(méi)有大人教她，她是怎么學(xué)會(huì)的呢？她刷短視頻，特別喜歡看一位吃糖果的小姐姐，每天反復(fù)看，她從視頻中學(xué)習(xí)，視頻里面涵蓋了大量的真實(shí)世界物理動(dòng)態(tài)信息，包括各種聲音、語(yǔ)言、圖像等，視頻是目前最容易獲取、可用來(lái)做“世界模型”預(yù)訓(xùn)練的關(guān)鍵數(shù)據(jù)。

這個(gè)小女孩在現(xiàn)實(shí)世界中嘗試：她自己撕糖果紙，第一次失敗了，但她沒(méi)放棄，又從不同的角度去嘗試，最終她吃到了糖果，得到了獎(jiǎng)勵(lì)，類似強(qiáng)化學(xué)習(xí)過(guò)程。人類也是在大量的感知，比如通過(guò)視頻，通過(guò)真實(shí)世界交互在不斷地學(xué)習(xí)。學(xué)習(xí)的過(guò)程中又通過(guò)交互，通過(guò)強(qiáng)化學(xué)習(xí)反饋習(xí)得到了能力。對(duì)于小女孩來(lái)講她吃到了糖果，對(duì)于足球運(yùn)動(dòng)員來(lái)講是這樣射門更容易成功，這就是學(xué)習(xí)。

對(duì)應(yīng)到模型，第一性原理同樣是在真實(shí)世界數(shù)據(jù)上做大規(guī)模的Pretrain，以及在具體任務(wù)重通過(guò)強(qiáng)化學(xué)習(xí)優(yōu)化策略，將其內(nèi)化為自己的能力。這也是我們將Emu3.5的路線稱為“第一性原理”的原因之一：在多模態(tài)世界模型上，以“大規(guī)模預(yù)訓(xùn)練+大規(guī)模多模態(tài)強(qiáng)化學(xué)習(xí)”為核心的技術(shù)范式與路線。

從學(xué)習(xí)階段來(lái)說(shuō)，預(yù)訓(xùn)練主要在學(xué)世界知識(shí)與泛化能力，我覺(jué)得泛化性也是評(píng)價(jià)智能的一個(gè)重要標(biāo)準(zhǔn)，不泛化就談不上智能。當(dāng)前主流的人機(jī)交互方式是Chat，但是Chat并不是原生多模態(tài)的，多模態(tài)原生到底應(yīng)該用什么樣的交互形式，過(guò)去并不清晰。假如說(shuō)以后有了智能眼鏡，做菜的時(shí)候你不會(huì)跟它聊天，而是邊做邊得到下一步指導(dǎo)（下一步應(yīng)該拿土豆，應(yīng)該怎么切），這更多是一種指導(dǎo)式交互。這類原生多模態(tài)交互與大規(guī)模世界知識(shí)的泛化能力相結(jié)合，構(gòu)成了我們追求的目標(biāo)：既具備廣泛的世界知識(shí)與泛化性，又具備高效、自然的多模態(tài)協(xié)同與交互。

Q：我們選擇了統(tǒng)一的自回歸架構(gòu)，但在多模態(tài)世界中，仍有很多問(wèn)題需要處理。在您看來(lái)，接下來(lái)最重要、最需要解決的方向是什么？

A：擴(kuò)大規(guī)模，我們現(xiàn)在沒(méi)有足夠的資源。擴(kuò)大規(guī)模可能是最明顯的一條路。我們已將范式指明，后續(xù)提升關(guān)鍵在兩方面：數(shù)據(jù)、Infra。之前范式是不確定的，大家不知道往哪個(gè)方向去做。我們現(xiàn)在有了一個(gè)明確的Scaling方向，接下來(lái)是如何把數(shù)據(jù)，比如把所有的視頻數(shù)據(jù)全部用起來(lái)，二是Infra，支持更大規(guī)模的預(yù)訓(xùn)練與強(qiáng)化學(xué)習(xí)，需要更高效的訓(xùn)練系統(tǒng)與推理加速，且在多模態(tài)上算力需求更高，還有存儲(chǔ)。這些都需要去提升。

我們認(rèn)為Emu3.5一個(gè)很重要的貢獻(xiàn)是提出并驗(yàn)證了多模態(tài)Scaling的可行范式，它是第三種Scaling up的方式。在語(yǔ)言模型上現(xiàn)在確實(shí)遇到了各種各樣發(fā)展的瓶頸。我們很幸運(yùn)在多模態(tài)上找到了有可能Scaling的方式。。大量長(zhǎng)短視頻平臺(tái)與網(wǎng)站擁有的私有視頻數(shù)據(jù)，若在合規(guī)前提下用于訓(xùn)練，有望進(jìn)一步提升模型能力。

另外一塊是參數(shù)和算力。如果把模型規(guī)模拓展到比如說(shuō)70B，300B，乃至于語(yǔ)言模型的萬(wàn)億規(guī)模，在既有范式有效的前提下，參數(shù)與算力的提升有望帶來(lái)能力躍升。我們希望，也呼吁行業(yè)里擁有大規(guī)模算力的企業(yè)機(jī)構(gòu)，能夠跟智源合作，我們一起嘗試探索更大規(guī)模的多模態(tài)世界模型，也歡迎投資方在合規(guī)與可持續(xù)的框架下共同投入資源。謝謝！