混元世界模型2.0發(fā)布丨一句話，讓“龍蝦鵝”跑進3D游戲里！

來源：騰訊云

這是龍蝦鵝

這是跑進3D游戲里的龍蝦鵝

最近，咱們騰訊的小龍蝦估計天天都在搬磚干活。今天小編決定給它放個假，把它送進中世紀(jì)的酒館里度個假。

看著這光影和質(zhì)感，你可能會以為是找了哪位3D建模大師熬夜肝出來的。但實際上，現(xiàn)在只需要敲一句話，就能把一張2D圖片變成能跑、能撞、能漫游的3D游戲資產(chǎn)。

今天，騰訊正式發(fā)布并開源混元3D世界模型2.0（HY-World 2.0）。一句話就能生成3D資產(chǎn)，并直接導(dǎo)入到游戲制作或具身仿真引擎，實現(xiàn)真正的可玩、可用。

1、申請體驗地址（詳情請戳）

2、開源代碼地址（詳情請戳）

// 支持多種模態(tài)輸入，無縫兼容游戲引擎

把平面的龍蝦鵝塞進3D游戲里，創(chuàng)作門檻低得超乎想象。

你完全不需要懂任何復(fù)雜的3D軟件，只要像平時說話一樣輸入一句文字描述，或者直接上傳一張圖片，模型就能精準(zhǔn)解析復(fù)雜的語義。

實機演示：輸入“生成一個日式RPG風(fēng)格的中世紀(jì)地牢”，即可生成一個3D空間資產(chǎn)

隨后，它會一鍵生成混合了3D高斯?jié)姙R（3DGS）與Mesh表征的真實3D資產(chǎn)。

熟悉AI生成的朋友都知道，此前不少世界模型（比如谷歌Genie 3 和咱們的混元世界模型1.5），本質(zhì)上生成的還只是一段視頻文件。而具備3DGS與Mesh表征的3D資產(chǎn)才能讓用戶有在真實游戲里的體驗。

這些多格式的3D資產(chǎn)還能直接無縫導(dǎo)入到Unity、UE等主流游戲引擎中進行二次編輯，用于快速生成游戲地圖和關(guān)卡原型。

你可以輕松地給龍蝦鵝加個小背包，或者按需調(diào)整整個場景的光影。

更爽的是，模型還支持角色模式：你可以操作角色在街道、建筑、場景中自由探索，不限時間，具有物理碰撞，體驗就像在真實游戲里一樣。

// 生成的不是視頻，而是可用的3D資產(chǎn)

這一次，混元世界模型2.0實現(xiàn)了SOTA級的生成效果。與其他世界模型相比，它在場景完整度（比如極難還原的物體側(cè)面和背面）以及對輸入圖片的遵循程度上表現(xiàn)更優(yōu)。

這不僅是因為它以3D生成為主軸，統(tǒng)一了空間理解、生成、重建的架構(gòu)，更在于其底層多項核心組件的全面提升：

拼得全，單張普通圖片秒變?nèi)啊鹘y(tǒng)方法極其依賴精確的相機參數(shù)才能生成全景圖。混元2.0全新升級了HY-Pano-2.0模型，采用端到端隱式學(xué)習(xí)方案。單憑普通像素圖片，就能自動腦補并推算出360度全景空間。

走得穩(wěn)，智能尋路拒絕穿墻、跑飛。為了解決漫游過程中的痛點，混元團隊結(jié)合了VLM與游戲自動尋路算法常用的navmesh表征，自研空間Agent技術(shù)。它能智能規(guī)劃出“環(huán)繞物體”、“最大漫游”等五類運鏡軌跡，避免角色穿墻、跑飛。

接得順，畫面延展真實不穿幫。針對場景擴展容易斷層的問題，混元團隊打造了目前業(yè)界最強的新視角生成（NVS）模型HY-WorldStereo。靠著強大的空間一致性記憶，讓新老場景視覺充分縫合，極速生成且畫質(zhì)不掉。

更沉浸，支持物理碰撞、真交互。所有片段通過HY-WorldMirror 2.0以及自適應(yīng)Mask gaussian等場景優(yōu)化算法，最終生成3DGS與Mesh混合表征。這也是能開啟角色模式、實現(xiàn)真實物體碰撞交互的核心原因。

實機演示：輸入“生成一個溫馨的繪本風(fēng)格小木屋”，游戲角色可以自穿行在生成的3D場景中

// 發(fā)布即開源，人人都能“一句話造世界”

讓復(fù)雜的3D資產(chǎn)生成變得像聊天一樣簡單。

混元世界模型（HY-World 系列）自發(fā)布以來持續(xù)進化：從首個開源3D世界模型 HY-World 1.0，到可實時在線交互的HY-World 1.5，再到如今一鍵生成3D空間資產(chǎn)的 HY-World 2.0，騰訊混元正在一步步把“AI造世界”從概念變?yōu)楝F(xiàn)實。

目前，混元世界模型2.0已正式開源。不管是萌趣的“龍蝦鵝”、游戲開發(fā)者的關(guān)卡原型，還是設(shè)計師的數(shù)字孿生場景，曾經(jīng)需要巨大成本的3D創(chuàng)作，如今都能一句話搞定。

未來，騰訊云將持續(xù)以混元AI能力，降低3D內(nèi)容創(chuàng)作門檻，讓每個人都能輕松創(chuàng)造屬于自己的3D世界。