下一場人工智能革命可能始于世界模型

來源：科技世代千高原

作者：德尼·埃利斯·貝沙爾

編輯：埃里克·沙利文

為什么當今的人工智能系統(tǒng)難以保持一致性，以及新興的世界模型如何旨在使機器能夠穩(wěn)定地理解空間和時間。

你可能見過人工智能系統(tǒng)出錯的情況。你要求播放一段狗狗的視頻，當狗狗跑到沙發(fā)后面時，它的項圈消失了。然后，隨著鏡頭拉遠，沙發(fā)變成了三人沙發(fā)。

部分問題在于許多人工智能模型的預(yù)測特性。例如， ChatGPT所使用的模型經(jīng)過訓(xùn)練可以預(yù)測文本，而視頻生成模型則預(yù)測接下來最有可能出現(xiàn)的畫面。這兩種情況下，人工智能都沒有一個清晰定義的世界模型，也無法持續(xù)更新該模型以做出更明智的決策。

但隨著許多人工智能領(lǐng)域的研究人員致力于創(chuàng)建“世界模型”，這種情況正在發(fā)生改變。這些模型的影響范圍不僅限于視頻生成和聊天機器人的使用，還包括增強現(xiàn)實、機器人、自動駕駛汽車，甚至類人智能——或通用人工智能（AGI）。

理解世界建模的一個簡單方法是通過四維模型（三維加上時間）。為了更好地理解這一點，讓我們回顧一下2012年，《泰坦尼克號》在上映15年后被精心轉(zhuǎn)換成立體3D版本。如果你暫停任何一幀畫面，你就能感受到船上人物和物體之間的距離感。但如果萊昂納多·迪卡普里奧背對著鏡頭，你就無法繞到他身后看到他的臉。電影的3D幻覺是通過立體成像技術(shù)實現(xiàn)的——通?？焖俳惶嫱渡鋬煞杂胁煌膱D像，一幅對應(yīng)左眼，一幅對應(yīng)右眼。影院里的每個人都能看到相同的圖像對，因此擁有相似的視角。

然而，得益于過去十年的研究，多視角成像正變得越來越可行。試想一下，如果你意識到應(yīng)該從另一個角度拍攝一張照片，然后人工智能可以自動調(diào)整角度，從而賦予同一場景全新的視角。自 2020 年起，NeRF（神經(jīng)輻射場）算法為創(chuàng)建“逼真的新視角”提供了一條途徑，但這需要將多張照片拼接起來，以便人工智能系統(tǒng)能夠生成 3D 模型。其他 3D 方法則利用人工智能預(yù)測性地填充缺失信息，但這種方法與現(xiàn)實的偏差更大。

現(xiàn)在，想象一下，《泰坦尼克號》的每一幀都以 3D 形式呈現(xiàn)，這樣整部電影就以 4D 形式存在了。你可以滾動時間線觀看不同的場景，也可以滾動空間線從不同的視角觀看。你還可以生成新的版本。例如，最近一篇預(yù)印本論文《NeoVerse：利用自然場景單目視頻增強 4D 世界模型》描述了一種將視頻轉(zhuǎn)換為 4D 模型，從而從不同視角生成新視頻的方法。

但4D技術(shù)也能幫助生成新的視頻內(nèi)容。另一篇近期發(fā)表的預(yù)印本論文《TeleWorld：基于4D世界模型的動態(tài)多模態(tài)合成》就適用于我們最初討論的場景：一只狗在沙發(fā)后面奔跑。作者認為，當持續(xù)更新的4D世界模型指導(dǎo)視頻生成時，AI視頻系統(tǒng)的穩(wěn)定性會得到提升。該系統(tǒng)的4D模型可以防止沙發(fā)變成長椅，也能防止狗的項圈脫落。

這些只是初步結(jié)果，但它們預(yù)示著一個更廣泛的趨勢：模型會在生成過程中更新內(nèi)部場景地圖。然而，4D建模的應(yīng)用遠不止于視頻生成。對于增強現(xiàn)實（AR）——例如Meta公司的Orion原型眼鏡——4D世界模型是用戶所處世界隨時間演變的地圖。它使AR系統(tǒng)能夠保持虛擬物體的穩(wěn)定性，使光照和透視效果逼真，并擁有對近期事件的空間記憶。它還支持遮擋效果——即數(shù)字物體被真實物體遮擋。一篇2023年的論文直截了當?shù)刂赋觯骸耙獙崿F(xiàn)遮擋效果，需要一個物理環(huán)境的3D模型?！?/p>

快速將視頻轉(zhuǎn)換為 4D 格式，還能為訓(xùn)練機器人和自動駕駛車輛了解真實世界的運作方式提供豐富的數(shù)據(jù)。通過生成機器人所處空間的 4D 模型，它們可以更好地導(dǎo)航并預(yù)測接下來可能發(fā)生的事情。如今的通用視覺語言人工智能模型雖然能夠理解圖像和文本，但無法生成清晰定義的世界模型，因此經(jīng)常出錯；一篇在 2025 年會議上發(fā)表的基準論文指出，這些模型在基本的世界建模能力方面存在“顯著局限性”，包括“在區(qū)分運動軌跡時準確率接近隨機”。

關(guān)鍵在于：“世界模型”對于那些致力于通用人工智能（AGI）的人來說意義遠不止于此。例如，目前領(lǐng)先的大型語言模型（LLM），例如ChatGPT所使用的模型，都從訓(xùn)練數(shù)據(jù)中隱含地感知著世界?！皬哪撤N意義上說，我認為LLM已經(jīng)擁有一個非常好的世界模型；只是我們并不真正了解它是如何實現(xiàn)的，”加州大學(xué)伯克利分校電子工程與計算機科學(xué)系助理教授Angjoo Kanazawa說道。然而，這些概念模型并非對世界的實時物理理解，因為LLM無法實時更新其訓(xùn)練數(shù)據(jù)。甚至OpenAI的技術(shù)報告也指出，其模型GPT-4一旦部署，“就無法從經(jīng)驗中學(xué)習(xí)”。

“如何開發(fā)一個能夠接收實時輸入、不斷更新對世界的理解并做出相應(yīng)反應(yīng)的智能LLM視覺系統(tǒng)？”金澤說，“這是一個尚未解決的重大難題。我認為，如果不解決這個問題，通用人工智能（AGI）就不可能實現(xiàn)?！?/p>

盡管研究人員仍在爭論語言邏輯模型（LLM）是否能夠最終實現(xiàn)通用人工智能（AGI），但許多人認為LLM是未來人工智能系統(tǒng)的重要組成部分。金澤表示，LLM將作為“語言和常識進行交流”的橋梁；它將充當“接口”，而一個更清晰定義的底層世界模型將提供當前LLM所缺乏的“時空記憶”。

近年來，許多知名的人工智能研究人員開始關(guān)注世界模型。2024年，李飛飛創(chuàng)立了World Labs，該公司近期推出了Marble軟件，該軟件能夠根據(jù)“文本、圖像、視頻或粗略的3D布局”創(chuàng)建3D世界（據(jù)該公司宣傳資料所述）。去年11月，人工智能研究員Yann LeCun在LinkedIn上宣布離開Meta，創(chuàng)辦一家名為Advanced Machine Intelligence（AMI Labs）的初創(chuàng)公司，旨在構(gòu)建“能夠理解物理世界、擁有持久記憶、能夠推理并能夠規(guī)劃復(fù)雜動作序列的系統(tǒng)”。他在2022年的一份立場文件中提出了這些想法，他在文件中探討了為什么人類能夠在從未遇到過的情況下表現(xiàn)良好，并認為答案“可能在于……學(xué)習(xí)世界模型的能力，即學(xué)習(xí)世界運作方式的內(nèi)部模型”。越來越多的研究證實了內(nèi)部模型的優(yōu)勢。2025年4月發(fā)表在《自然》雜志上的一篇論文報道了DreamerV3的研究成果，DreamerV3是一款人工智能代理，它通過學(xué)習(xí)世界模型，能夠通過“想象”未來場景來改進自身的行為。

因此，在通用人工智能（AGI）的語境下，“世界模型”更側(cè)重于描述現(xiàn)實運作方式的內(nèi)部模型，而不僅僅是4D重建。然而，4D建模技術(shù)的進步可以提供一些組件，幫助我們理解視角、記憶，甚至進行短期預(yù)測。同時，在通往AGI的道路上，4D模型可以提供豐富的現(xiàn)實模擬環(huán)境，用于測試人工智能，確保當我們讓它們在現(xiàn)實世界中運行時，它們知道如何在現(xiàn)實世界中生存。

https://www.scientificamerican.com/article/world-models-could-unlock-the-next-revolution-in-artificial-intelligence/

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟、人類風險等等領(lǐng)域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。