Google Genie3：世界模型的ChatGPT時刻？｜核心信息大匯總

作者 ｜ 大模型機(jī)動組
郵箱 ｜ damoxingjidongzu@pingwest.com

2025 年 8 月 5 日，Google DeepMind 宣布推出Genie 3，這是一個通用世界模型，能夠根據(jù)文本提示生成各種可互動的 3D 環(huán)境。該模型在 720p 分辨率下以 24 幀/秒實(shí)時生成環(huán)境，用戶可以像玩游戲一樣自由移動，并且場景在幾分鐘內(nèi)保持一致。此舉標(biāo)志著 DeepMind 在世界模型領(lǐng)域的又一次重要躍進(jìn)，距上一代 Genie 2 發(fā)布僅一年多時間。

我們梳理了目前Google官方報告和參與內(nèi)測的用戶的反饋，以及Genie3背后團(tuán)隊(duì)的深度訪談，為大家提供核心信息的匯總，更好了解這個模型。

Google官方博客 ：從文字到世界，Genie 3 是什么？

邁向世界模擬

在 Google DeepMind，我們已超過十年時間在模擬環(huán)境領(lǐng)域進(jìn)行開創(chuàng)性研究，從訓(xùn)練智能體到掌握實(shí)時策略游戲 ，再到為開放式學(xué)習(xí)和機(jī)器人技術(shù)開發(fā)模擬環(huán)境。這項(xiàng)工作促使我們開發(fā)了世界模型，即能夠利用其對世界的理解來模擬世界某些方面的 AI 系統(tǒng)，使智能體能夠預(yù)測環(huán)境將如何演變以及其行為將如何影響環(huán)境。

世界模型也是通往通用人工智能（AGI）道路上的關(guān)鍵里程碑，因?yàn)樗鼈兪沟迷谪S富的模擬環(huán)境中對人工智能代理進(jìn)行無限課程訓(xùn)練成為可能。去年，我們推出了首個基礎(chǔ)世界模型 Genie 1 和 Genie 2，它們能夠?yàn)榇砩尚颅h(huán)境。我們還繼續(xù)通過我們的模型 Veo 2 和 Veo 3 推動視頻生成技術(shù)的最前沿，這些模型展現(xiàn)出對直觀物理學(xué)的深刻理解。

這些模型標(biāo)志著在模擬世界不同能力方面的進(jìn)展。Genie 3 是我們首個允許實(shí)時交互的世界模型，同時與 Genie 2 相比，它還提高了連貫性和真實(shí)性。

核心能力

官方對 Genie 3 的能力做了簡潔描述：該模型能夠從任意文本提示生成可互動世界，實(shí)時輸出 720p、24fps 的動態(tài)環(huán)境，且場景在長達(dá)一分鐘的交互中保持物理一致；用戶還可以通過追加提示改變天氣或加入人物。以下是 Genie 3 的主要特性：

• 模擬世界物理屬性：該模型能呈現(xiàn)水、光線等自然現(xiàn)象，以及復(fù)雜的環(huán)境交互。

提示示例：在佛羅里達(dá)的人行道上行走，一側(cè)是雙向車道，另一側(cè)是大海；颶風(fēng)逼近，狂風(fēng)呼嘯，海浪拍打著路面；智能體左側(cè)有欄桿分隔海水與道路；道路沿海岸延伸，前方可見一座短橋；海浪不斷越過欄桿沖上路面；棕櫚樹在風(fēng)中彎折；大雨滂沱，智能體穿著雨衣；真實(shí)世界第一視角。

• 模擬自然世界：能生成豐富的生態(tài)系統(tǒng)，涵蓋動物行為與復(fù)雜植物。

提示示例：沿冰川湖畔奔跑，探索森林中的分叉小徑，穿越流動的山間溪流；背景是壯麗的雪山與松樹林，豐富的野生動物讓旅程充滿樂趣。

• 模擬動畫與虛構(gòu)場景：能激發(fā)想象力，生成奇幻場景與富有表現(xiàn)力的動畫角色。

提示示例：鮮明的 3D 風(fēng)格，一只毛茸茸的可愛生物在奇幻景觀中的彩虹橋上跳躍；生物小巧圓潤，皮毛呈現(xiàn)日出般的暖色調(diào) —— 橙、黃、粉漸變交融；最醒目的是一對豎起的大耳朵，形似德國牧羊犬，與圓潤身形形成俏皮反差；它用四條短腿跑過彩虹橋時，皮毛如波浪般起伏，充滿動感與活力；彩虹橋優(yōu)雅地橫跨奇幻 landscape，周圍或許有浮島、發(fā)光植物與旋轉(zhuǎn)云層；光線明亮歡快，為生物與環(huán)境鍍上暖光；整體傳遞出喜悅、好奇與無限活力，展現(xiàn)生物的頑皮與世界的魔力，喚起觀者的童真與對冒險的想象。

• 探索特定地點(diǎn)與歷史場景：能突破地理與時間限制，呈現(xiàn)特定地點(diǎn)與過往時代。

提示示例：真實(shí)風(fēng)格的阿爾卑斯山區(qū)環(huán)境：陡峭的巖石懸崖與狹窄的峽谷中布滿碎石；巖石以灰白為主，部分崖面覆有綠色植被；峽谷頂端延伸出茂密的針葉林與草地景觀；整體凸顯粗獷的自然之美與極端地形特征。

• 突破實(shí)時交互極限

Genie 3 實(shí)現(xiàn)高度可控性與實(shí)時交互，離不開重大技術(shù)突破。在逐幀自回歸生成過程中，模型需納入隨時間累積的歷史軌跡 —— 例如，當(dāng)用戶一分鐘后重返某地時，模型需調(diào)用一分鐘前的相關(guān)信息。為實(shí)現(xiàn)實(shí)時交互，系統(tǒng)需每秒多次響應(yīng)新輸入并完成計(jì)算。

• 長期環(huán)境一致性

AI 生成的世界要具備沉浸感，必須在長時間內(nèi)保持物理一致性。但自回歸生成環(huán)境比生成完整視頻更具技術(shù)挑戰(zhàn)，因?yàn)檎`差會隨時間累積。盡管如此，Genie 3 生成的環(huán)境仍能在數(shù)分鐘內(nèi)保持穩(wěn)定，視覺記憶可追溯至一分鐘前。

提示示例：第一視角運(yùn)動相機(jī)，記錄用滾筒刷給棕色房屋刷漆的過程。

建筑左側(cè)的樹木在整個交互過程中始終保持一致，無論是否出現(xiàn)在視野中。

Genie 3 的一致性是一種自然涌現(xiàn)的能力。NeRFs 和高斯濺射等方法也能生成可導(dǎo)航的一致性 3D 環(huán)境，但依賴明確的 3D 模型；而 Genie 3 生成的世界更動態(tài)豐富，因?yàn)樗谑澜缑枋龊陀脩粜袨橹饚瑒?chuàng)建。

提示示例：第一視角無人機(jī)鏡頭，在冰島的狹窄峽谷中高速飛行，谷底有河流，巖石覆有苔蘚，正值黃金時刻；真實(shí)世界場景。

• 可提示的世界事件

除導(dǎo)航輸入外，Genie 3 還支持更靈活的文本交互 —— 即 “可提示的世界事件”。

這類事件能改變生成的世界（如調(diào)整天氣、引入新物體或角色），超越單純的導(dǎo)航控制，豐富交互體驗(yàn)。

這一能力還能擴(kuò)展 “反事實(shí)場景”（即 “如果…… 會怎樣”）的范圍，幫助智能體通過經(jīng)驗(yàn)學(xué)習(xí)應(yīng)對突發(fā)情況。

推動具身智能體研究

為了測試 Genie 3 創(chuàng)建的世界對未來智能體訓(xùn)練的兼容性，我們?yōu)樽罱姹镜?SIMA 智能體生成了世界，這是我們用于 3D 虛擬環(huán)境的通用智能體。在每個世界中，我們指示智能體追求一組不同的目標(biāo)，它通過向 Genie 3 發(fā)送導(dǎo)航動作來試圖實(shí)現(xiàn)這些目標(biāo)。像任何其他環(huán)境一樣，Genie 3 并不了解智能體的目標(biāo)，而是根據(jù)智能體的動作來模擬未來。

由于 Genie 3 能夠保持一致性，現(xiàn)在可以執(zhí)行更長的動作序列，從而實(shí)現(xiàn)更復(fù)雜的目標(biāo)。我們預(yù)計(jì)這項(xiàng)技術(shù)將在我們邁向通用人工智能（AGI）的過程中發(fā)揮關(guān)鍵作用，并且智能體將在世界上扮演更重要的角色。

局限與挑戰(zhàn)

盡管 Genie 3 拓展了世界模型所能實(shí)現(xiàn)的范圍，但有必要承認(rèn)其當(dāng)前局限性：

• 有限的行動空間 。盡管可提示的世界事件允許進(jìn)行廣泛的環(huán)境干預(yù)，但這些干預(yù)并非一定由代理自身執(zhí)行。代理可直接執(zhí)行的行動范圍目前仍受限制。

• 其他代理的交互與模擬 。在共享環(huán)境中準(zhǔn)確模擬多個獨(dú)立代理之間的復(fù)雜交互，仍然是持續(xù)的研究挑戰(zhàn)。

• 真實(shí)世界位置的準(zhǔn)確表示 。Genie 3 目前無法以完美的地理精度模擬真實(shí)世界位置。

• 文本渲染。 只有當(dāng)輸入的世界描述中提供清晰易讀的文本時，才會生成。

• 交互時長有限。 該模型目前僅支持幾分鐘的連續(xù)交互，而非長時間。

責(zé)任

我們相信，基礎(chǔ)技術(shù)從一開始就需要對責(zé)任有深刻的承諾。Genie 3 中的技術(shù)創(chuàng)新，特別是其開放式和實(shí)時能力，為安全和責(zé)任帶來了新的挑戰(zhàn)。為了在最大化益處的同時應(yīng)對這些獨(dú)特風(fēng)險，我們與負(fù)責(zé)任發(fā)展與創(chuàng)新團(tuán)隊(duì)緊密合作。

在 Google DeepMind，我們致力于以既能增強(qiáng)人類創(chuàng)造力又能限制非預(yù)期影響的方式開發(fā)我們一流的模型。隨著我們繼續(xù)探索 Genie 的潛在應(yīng)用，我們宣布將 Genie 3 作為一項(xiàng)有限的研究預(yù)覽發(fā)布，向一小部分學(xué)者和創(chuàng)作者提供早期訪問權(quán)限。這種做法使我們能夠在探索這一新領(lǐng)域的過程中收集至關(guān)重要的反饋和跨學(xué)科視角，并繼續(xù)加深我們對風(fēng)險及其適當(dāng)緩解措施的理解。我們期待與社區(qū)進(jìn)一步合作，以負(fù)責(zé)任的方式開發(fā)這項(xiàng)技術(shù)。

下一步

我們相信 Genie 3 是世界模型的一個重要時刻，它將開始對人工智能研究和生成式媒體等多個領(lǐng)域產(chǎn)生影響。為此，我們正在探索如何在將來讓更多測試者能夠使用 Genie 3。

Genie 3 可以為教育和培訓(xùn)創(chuàng)造新的機(jī)遇，幫助學(xué)生學(xué)習(xí)和專家積累經(jīng)驗(yàn)。它不僅能提供廣闊的空間來訓(xùn)練機(jī)器人等智能體和自主系統(tǒng)，還能實(shí)現(xiàn)智能體性能的評估，并探索其弱點(diǎn)。

在每一步，我們都在探索我們的工作的意義，并為其造福人類而開發(fā)，安全且負(fù)責(zé)任。

可見即可游：Genie 3 的更多場景與玩法

官方視頻和第三方 Demo 網(wǎng)站（genie3.site）展示了 Genie 3 在真實(shí)場景中的生成能力：用戶可一鍵探索古城遺跡、瀑布峽谷、太空基地等多樣環(huán)境，并體驗(yàn)火山噴發(fā)、漂浮島嶼、傳送門等動態(tài)事件。社區(qū)開發(fā)者更可通過一句文本提示，自由構(gòu)建可交互的關(guān)卡，制作邏輯解謎、角色對話，甚至生成一段風(fēng)格獨(dú)特的動畫短片。正如 The Decoder 所評論的，Genie 3 已初步具備“生成式游戲引擎”的雛形。

駕駛車輛行駛在爆發(fā)的火山旁邊

Genie 3 能夠生成完整的 3D 世界

電子游戲?qū)⒂肋h(yuǎn)不一樣

最新深度訪談：它靠什么實(shí)現(xiàn)？

機(jī)器學(xué)習(xí)節(jié)目Machine Learning Street Talk發(fā)布了一期專題訪談，邀請 Genie 3 論文作者Jack Parker?Holder與Shlomi Fruchter詳細(xì)介紹模型設(shè)計(jì)和未來愿景。訪談指出，Genie 3 在架構(gòu)上融合了視頻生成技術(shù)和強(qiáng)化學(xué)習(xí)，采用自回歸方式按幀生成，并通過長期記憶模塊保持物體的一致性。他們強(qiáng)調(diào)，模型目前仍是研究原型，尚未公開接口，但未來有望與語言模型和三維 AI 相結(jié)合，成為開發(fā)者構(gòu)建互動內(nèi)容的基礎(chǔ)工具。這期節(jié)目還討論了世界模型對游戲產(chǎn)業(yè)、機(jī)器人訓(xùn)練和科學(xué)模擬的潛在影響，與 Jim Fan 所說的“游戲引擎 2.0”概念相呼應(yīng)。

TLDR ：

“三秒鐘創(chuàng)造世界”：節(jié)目用一句形象的例子來說明 Genie 3 的速度——你只需輸入“無人機(jī)飛過一片湖面”或“雪坡”，模型大約三秒就能生成這個逼真的世界，然后你可以在其中實(shí)時移動和互動。這一點(diǎn)讓它像即開即玩的游戲編輯器。

涌現(xiàn)出的記憶一致性：受訪者解釋，Genie 3 并未顯式編程記住物體位置，但世界會記住你離開時的狀態(tài)，當(dāng)你轉(zhuǎn)頭再看，物體依舊存在。這種“可靠的記憶”是自回歸生成架構(gòu)的自然產(chǎn)物，也是世界模型與普通視頻模型的根本區(qū)別。

世代飛躍：上一代 Genie 2 的互動只有 10–20 秒，而 Genie 3 以 720p、24fps 的畫質(zhì)維持幾分鐘。Shlomi Fruchter 稱這是邁向通用世界模型的重要一步，因?yàn)殚L時間的一致性讓 AI 代理能完成復(fù)雜目標(biāo)。

殺手級應(yīng)用：訓(xùn)練機(jī)器人：Jack Parker?Holder 指出，Genie 3 最大的用途不是娛樂，而是訓(xùn)練自動駕駛汽車和機(jī)器人。在虛擬世界中，可以反復(fù)觸發(fā)罕見事件（例如鹿突然跳入道路）來教會 AI 安全應(yīng)對。這比在真實(shí)道路上試驗(yàn)更安全、更高效。

“YouTube 2.0”式的開放愿景：節(jié)目暢想這種技術(shù)可能催生新的內(nèi)容平臺——人們通過提示共同創(chuàng)建和探索互聯(lián)的世界，像升級版的 YouTube 或 VR 體驗(yàn)。這種開放式創(chuàng)作也被稱為“世界事件可提示”，用戶不僅能導(dǎo)航，還能用文字改變天氣、加入角色。

世界模型是 AGI 的階梯：研究員強(qiáng)調(diào)，能模擬出多樣復(fù)雜世界的模型是通向通用人工智能的關(guān)鍵，因?yàn)樗鼈優(yōu)?AI 代理提供了無限的訓(xùn)練場。DeepMind 認(rèn)為 Genie 3 為未來與語言模型和 3D AI 融合奠定了基礎(chǔ)。

當(dāng)前局限：Genie 3 仍是研究預(yù)覽，動作空間有限，物理和地理精度欠佳，多代理互動和文字渲染有困難，持續(xù)互動時間只有幾分鐘。因此它還無法取代真實(shí)引擎，但已顯現(xiàn)出巨大潛力。

內(nèi)測用戶這樣評價 Genie 3：驚艷與不足并存

AI 研究者 Tejas Kulkarni 獲邀體驗(yàn) Genie 3。通過一整天的試用，他認(rèn)為這是自己使用過的首個泛化性如此強(qiáng)且具有長期一致性的神經(jīng)世界模型。Tejas 總結(jié)了模型的亮點(diǎn)：

• 
  

  啟動迅速，既適用于游戲場景也能泛化到工業(yè)或真實(shí)環(huán)境；

• 能在沒有游戲引擎的情況下學(xué)會非剛體物理，并出色地呈現(xiàn)全局光照和寫實(shí)環(huán)境；

• 對 stylized 風(fēng)格的場景支持良好，適合概念藝術(shù)家和關(guān)卡設(shè)計(jì)；

• 模型的世界記憶在遮擋和多秒時間跨度下依舊保持一致。

他也指出了當(dāng)前明顯的局限：

• 模型仍會在經(jīng)典物理實(shí)驗(yàn)（如堆積木塔）中失敗，復(fù)雜指令序列也容易卡?。?/p>

• 社會與多智能體互動尚未解決，1 對 1 戰(zhàn)斗游戲無法實(shí)現(xiàn)；

• 行為動作有限，尚不能替代完整的游戲引擎；

• 盡管如此，他認(rèn)為這種技術(shù)將在未來五年顛覆游戲行業(yè)，并可能成為實(shí)現(xiàn)強(qiáng)人工智能的“最后一塊拼圖”

一個新范式的起點(diǎn)

Genie 3 目前只向少數(shù)學(xué)術(shù)機(jī)構(gòu)和創(chuàng)作者提供研究預(yù)覽，DeepMind 希望通過逐步擴(kuò)大測試來發(fā)現(xiàn)潛在風(fēng)險。The Decoder 指出，模型存在交互時長有限、動作受限、多代理不穩(wěn)定、地理信息缺失等技術(shù)瓶頸，但這些問題并不妨礙其成為未來 AI 訓(xùn)練和內(nèi)容創(chuàng)作的重要平臺。

從游戲視角來看，NVIDIA AI 負(fù)責(zé)人 Jim Fan 形容 Genie 3 預(yù)示著“游戲引擎 2.0”時代：未來無需顯式 3D 素材和渲染管線，開發(fā)者通過提示即可驅(qū)動一塊數(shù)據(jù)權(quán)重生成完整世界。DeepMind CEO Demis Hassabis 也指出，世界模型讓 AI 能在豐富模擬中自主學(xué)習(xí)，是通向 AGI 的關(guān)鍵。隨著模型與大型語言模型、3D 重建技術(shù)結(jié)合，實(shí)時生成的互動世界可能成為訓(xùn)練通用智能和構(gòu)建新媒體形態(tài)的基礎(chǔ)設(shè)施。

Genie 3 的發(fā)布標(biāo)志著世界模型進(jìn)入了可用、可玩的新階段：它不僅能根據(jù)文本生成高保真世界，還能讓用戶自由漫游、修改環(huán)境并保持記憶。盡管這一模型仍處于研究預(yù)覽階段，存在物理漏洞和多智能體限制，但其展現(xiàn)出的潛力讓人看到游戲開發(fā)、機(jī)器人訓(xùn)練甚至科學(xué)模擬的全新可能。正如一位內(nèi)測者所說，這也許是邁向真正 AGI 的“最后一塊拼圖”。

參考資料：

官方blog

https://deepmind.google/discover/blog/genie-3-a-new-frontier-for-world-models/

官方摘要

https://www.linkedin.com/posts/googledeepmind_introducing-genie-3-a-groundbreaking-world-activity-7358499030621908992-Mqr_/

媒體報道

https://www.theverge.com/news/718723/google-ai-genie-3-model-video-game-worlds-real-time

https://the-decoder.com/google-deepminds-genie-3-generates-interactive-3d-worlds-that-stay-consistent-for-multiple-minutes/

官方視頻

https://www.youtube.com/watch?v=PDKhUknuQDg

第三方的Demo合集

https://genie3.site/

內(nèi)測用戶反饋

https://x.com/tejasdkulkarni/status/1952737669894574264

最新的深度采訪

https://www.youtube.com/watch?v=ekgvWeHidJs&t=6s