當(dāng)?shù)貢r間10月16日,李飛飛團隊World Labs重磅發(fā)布全新實時生成式世界模型——RTFM(Real-Time Frame Model,實時幀模型),該模型僅需單張H100 GPU,就能從輸入的2D圖像實時生成持久且3D一致的虛擬世界,讓用戶僅憑一張圖片就能創(chuàng)造完整的3D場景。
RTFM模型采用創(chuàng)新的"學(xué)習(xí)型渲染器"設(shè)計,不依賴傳統(tǒng)3D建模,而是通過端到端學(xué)習(xí)大規(guī)模視頻數(shù)據(jù),直接從輸入圖像生成同一場景的新視角圖像。模型不僅能模擬三維幾何,還學(xué)會了反射、陰影、鏡頭光暈等復(fù)雜物理效果。
更獨特的是其"空間記憶"機制,通過為每幀圖像賦予3D空間中的位姿,使虛擬世界具備真正持久性 - 即使視線移開,場景也不會消失。該技術(shù)讓RTFM能夠在大型場景中保持無限時長的交互體驗。
目前該模型已正式開放,任何人都可通過官網(wǎng)rtfm.worldlabs.ai體驗這款"世界模擬器"。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.