還記得電影《頭號玩家》里的“綠洲”嗎?主角韋德·沃茲戴上VR設備就能在虛擬游戲宇宙里享受科幻級的沉浸式體驗。如果想要創建這樣一個能持久探索的虛擬世界,不僅需要百人團隊手工建模,還得投入百萬算力,達到實時交互更是難上加難,但如今的空間智能技術,正把這種有記憶的虛擬空間從銀幕搬進現實。
![]()
電影《頭號玩家》劇照
近日,被譽為“AI教母”的華人科學家、斯坦福大學教授李飛飛的創業公司World Labs推出一款生成式世界模型RTFM(Real-Time Frame Model),該模型支持單圖像生成3D場景并能與用戶交互實時生成視頻,最關鍵的亮點是它可以在單個H100 GPU上運行,通俗理解就是“用一張顯卡運行一個世界”。
01
《頭號玩家》照進現實
對比傳統3D建模,RTFM像是一個能記住整個世界的大腦,根據輸入的素材就可以直接“想象”出一個永久存在的3D空間,并且能實時生成任何角度的畫面。
![]()
李飛飛轉發World Labs官方推文
其亮點在于持久化建模能力,傳統AI生成的畫面一旦視角切換就會重置,但RTFM規避了這一弊端,為模型施加了“空間記憶”,即為每個生成的畫面賦予三維坐標和方向,即使鏡頭轉向別處,模型也能通過這些坐標記住物體的位置。當你需要探索新區域時,系統也不會將整個世界的所有細節都重新計算一遍,而是只調取附近區域的畫面作為參考,既節省算力又保證了場景的一致性。
與此同時,模型還會確保時間連續性,生成的3D虛擬世界就像現實世界一樣,離開后再回來,不僅景觀、物品等場景元素仍在原地,光影變化也符合時間流逝的規律,能精準呈現反射、陰影等復雜視覺效果。
總結一點就是系統的自適應能力變強了,而這源于模型對動態環境的理解,也就是AI借助海量視頻對空間規律的學習。例如通過觀察人類走路的視頻,去理解“地面是平的”“物體之間存在遮擋關系”“行進時需要繞開阻礙物”等常識。
這樣就告別了傳統的手工建模,從“先造3D世界,再拍2D照片”轉變為“先看2D照片,再猜3D世界”,讓模型得以舉一反三來存儲整個世界的信息,需要拓展畫面時,在原本基礎上通過“回憶”補充新的視角就能滿足建模需求。也就是說當輸入的視頻和照片素材足夠多,模型就能精準還原真實場景,即使輸入信息不足,它也可以基于已有建模根據空間規律“腦補”出合理的畫面。
![]()
RTFM另一個亮點在于算力革命,堪稱重新定義了實時3D的門檻。
眾所周知,視頻生成所面臨的算力壓力相當重,這一點可從目前AI視頻生成有限的時長和遲緩的響應速度中體現,而生成式世界模型的算力需求,遠比普通實時視頻生成更苛刻。若沿用現有視頻架構,其支撐場景連續性的核心——上下文token處理量,會直接飆升至上億級別。這不僅意味著單塊消費級GPU完全無法承載,即便動用專業算力集群,也需持續調用大量硬件資源才能勉強運行。
拋開硬件采購、電力消耗等成本不談,單是當前算力基礎設施的響應效率其實就難以達標。上億token的實時計算耗時,遠超虛擬世界實時交互所需的毫秒級延遲要求,最終會導致場景卡頓、視角切換時物體“消失”,根本無法實現持久化探索的需求。
想要同時支撐場景記憶、實時渲染、細節還原三重需求,還得保證響應速度,兼顧對投入成本的控制,絕非易事。正因如此,實現在單塊H100 GPU上生成3D世界的革新意義才尤為重大。
02
空間智能潛力開掘
如果這種空間智能技術得以普及,會對哪些行業帶來影響?
首要的是內容生成領域爆發的生產力革命,例如,傳統游戲開發需要長達數月的時間和高昂的投入成本來構建場景,在RTFM中只需開發者上傳草圖即可實時生成3D開放世界,游戲創作的門檻進一步降低,中小團隊甚至個人開發者也能參與優質內容制作。
影視與廣告方面同樣如此,導演可通過RTFM快速搭建虛擬片場,實時調整鏡頭角度和場景細節,替代傳統綠幕和后期合成,節省制作成本。品牌商也可利用該技術創建沉浸式虛擬展廳,讓用戶體驗產品的360度交互。
建筑設計方面的方案調整也會便利得多,從CAD平面圖直接轉化為3D模型,既節省制作成本,又能大幅壓縮設計周期。
自動駕駛、無人機訓練、機器人訓練、數字孿生工廠等需要高精度環境模擬的智能體學習場景也會獲益,因為這意味著模型能通過單目攝像頭實時重建周邊環境的三維結構,預測被遮擋行人的位置、飛行路徑上的障礙物、抓取工件時的姿態偏差、車間裝配過程中的空間干涉等,從而優化感知魯棒性(系統在面對環境變化和干擾時,能夠維持其核心功能和結構的能力)。
![]()
數字孿生工廠的環境模擬
空間智能的發展很大程度上影響著具身智能系統的水平,因為業界堅持具身設計,就是為了完全模擬人類的生活,以便機器在真實世界里的場景中發揮作用,甚至實現替代,那么“理解空間”就是繞不開的能力挑戰。
正如李飛飛在演講中所言:“僅僅看是不夠的,看,是為了行動和學習。”
從“看得到”到“看得懂”,再到“能行動”,作為具身智能的關鍵拼圖,空間智能的核心價值在于打通數字世界與物理世界的壁壘。當AI能像人類一樣理解空間規律,它便不再是孤立的算法,而是真正融入生產、生活的協作伙伴,推動智能體走出實驗室加快落地。
![]()
微信訂閱
歡迎郵局訂閱2026年《電腦報》
訂閱代號:77-19
全年訂價:400.00元 零售單價:8元
郵局服務熱線:11185
編輯|張毅
主編|黎坤
總編輯|吳新
爆料聯系:cpcfan1874(微信)
壹零社:用圖文、視頻記錄科技互聯網新鮮事、電商生活、云計算、ICT領域、消費電子,商業故事。《中國知網》每周全文收錄;中國科技報刊100強;2021年微博百萬粉絲俱樂部成員;2022年抖音優質科技內容創作者
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.