SIGGRAPH Asia 2025 | 讓3D場(chǎng)景生成像「寫(xiě)代碼」一樣靈活可控

隨著生成式 AI 的快速發(fā)展，從文本生成圖像、視頻，到構(gòu)建完整的三維世界，AI “創(chuàng)造空間” 的能力正以前所未有的速度突破邊界。然而，現(xiàn)有 3D 場(chǎng)景生成方法仍存在明顯局限：模型往往直接輸出每個(gè)物體的幾何參數(shù)（位置、大小、方向等），結(jié)果容易出現(xiàn)漂浮、重疊、穿模等問(wèn)題；場(chǎng)景結(jié)構(gòu)缺乏邏輯一致性，難以編輯或復(fù)用，更無(wú)法像程序那樣精確控制空間關(guān)系與生成邏輯。

想象這樣一個(gè)畫(huà)面：你輸入一句話 ——

“在黃昏的碼頭上，一位漁夫坐在木椅上，旁邊是一盞搖曳的燈?！?br/>

AI 不再只是 “擺放” 這些元素，而是生成一段可執(zhí)行的三維構(gòu)建腳本：從燈光的照射角度到漁夫與木椅的相對(duì)位置，都由程序邏輯自動(dòng)推導(dǎo)與控制。

這種 “從語(yǔ)言到程序再到場(chǎng)景” 的新范式，正是由布朗大學(xué)（Brown University）與加州大學(xué)圣地亞哥分校（UC San Diego）的研究團(tuán)隊(duì)提出的 Procedural Scene Programs（PSP） 框架。

與傳統(tǒng)的幾何直接生成方法不同，PSP 讓 AI 不再是 “畫(huà)” 出一個(gè)世界，而是像程序員一樣 “寫(xiě)” 出世界的生成邏輯。模型輸出的不是靜態(tài)的三維網(wǎng)格，而是一段可運(yùn)行的場(chǎng)景腳本，具備高度的可編輯性、可復(fù)用性與結(jié)構(gòu)可控性—— 為 AI 世界構(gòu)建帶來(lái)了新的語(yǔ)言與思維方式。

該研究已被計(jì)算機(jī)圖形學(xué)頂會(huì) SIGGRAPH Asia 2025 接收。

• 論文題目：Procedural Scene Programs for Open-Universe Scene Generation: LLM-Free Error Correction via Program Search
• 作者：Maxim Gumin, Do Heon Han, Seung Jean Yoo, Aditya Ganeshan, R. Kenny Jones, Kailiang Fu（傅楷量）, Rio Aguina-Kang, Stewart Morris, Daniel Ritchie
• 論文鏈接：https://arxiv.org/abs/2510.16147

方法

研究團(tuán)隊(duì)提出的 Procedural Scene Programs（PSP） 是一個(gè)兩階段的程序化場(chǎng)景生成系統(tǒng)。它的核心思想是：讓 AI 不再直接輸出三維幾何，而是先生成可執(zhí)行的構(gòu)建腳本，再通過(guò)程序執(zhí)行構(gòu)建出完整場(chǎng)景。

整個(gè)系統(tǒng)由兩大關(guān)鍵組件組成：

1.Procedural Scene Description Language（PSDL）—— 用來(lái) “寫(xiě)” 出生成世界的程序語(yǔ)言；

2.Program Search 糾錯(cuò)模塊—— 在程序執(zhí)行后自動(dòng)檢測(cè)并修復(fù)幾何錯(cuò)誤。

PSDL 負(fù)責(zé) “生成邏輯”，Program Search 負(fù)責(zé) “結(jié)果修正”。這種 “先生成、再調(diào)試” 的機(jī)制，使得 AI 不僅能自動(dòng)搭建三維場(chǎng)景，還能在程序?qū)用孀晕倚迯?fù)錯(cuò)誤，從而生成結(jié)構(gòu)合理、物理一致的世界。

1. 程序化生成語(yǔ)言 PSDL：讓 AI 寫(xiě)出世界的規(guī)則

傳統(tǒng)的三維場(chǎng)景生成模型通常直接預(yù)測(cè)每個(gè)物體的位置、大小和方向。然而，由于 AI 并不具備完善的空間想象與物理推理能力，這種方法往往會(huì)導(dǎo)致物體漂浮、重疊等問(wèn)題。為此，PSP 引入了 Procedural Scene Description Language（PSDL），讓模型不再 “直接想象空間”，而是以程序邏輯來(lái)表達(dá)空間關(guān)系。PSDL 嵌入在 Python 中，支持函數(shù)、循環(huán)、條件與變量綁定，使模型能夠通過(guò)編寫(xiě)規(guī)則的方式來(lái)定義場(chǎng)景的結(jié)構(gòu)與布局。

例如：

foriin range (3):

place ('chair', around='table', angle=i*120)

這樣的語(yǔ)句不僅表達(dá)了 “放三把椅子” 的結(jié)果，也清晰地定義了 “圍繞桌子等角放置” 的空間關(guān)系。這種形式讓生成過(guò)程具備了可編輯、可擴(kuò)展、可復(fù)用的特性，使模型真正具備了 “程序化建?！?的能力。

2. 糾錯(cuò)模塊 Program Search：自動(dòng)修復(fù)幾何錯(cuò)誤

在生成完成后，PSP 會(huì)通過(guò) Program Search 模塊對(duì)場(chǎng)景進(jìn)行結(jié)構(gòu)與幾何一致性檢測(cè)。與傳統(tǒng)需要反復(fù)調(diào)用大模型修正錯(cuò)誤的方式不同，PSP 直接在程序空間中搜索修復(fù)方案，無(wú)需再次推理。

研究團(tuán)隊(duì)定義了多種幾何一致性指標(biāo)，如物體重疊率、支撐關(guān)系和遮擋情況。當(dāng)檢測(cè)到異常時(shí)，系統(tǒng)會(huì)自動(dòng)替換變量或微調(diào)表達(dá)式，從程序?qū)有迯?fù)問(wèn)題。

實(shí)驗(yàn)結(jié)果顯示，PSP 平均只需 約 7 次程序修改 即可修復(fù)大多數(shù)錯(cuò)誤，且完全無(wú)需重新調(diào)用 LLM。這種符號(hào)級(jí)修正機(jī)制讓生成過(guò)程更穩(wěn)定、更具可解釋性，并顯著提升了三維場(chǎng)景的物理合理性。

效果與對(duì)比

在 70 個(gè)開(kāi)放世界場(chǎng)景提示（涵蓋自然、建筑、幻想等多樣主題）上，研究團(tuán)隊(duì)對(duì)比了三種代表性方法：聲明式布局系統(tǒng) DeclBase、約束驅(qū)動(dòng)的 Holodeck，以及本文提出的 Procedural Scene Programs（PSP）。

結(jié)果顯示，PSP 在人類主觀評(píng)測(cè)中顯著領(lǐng)先 ——在與 DeclBase 的對(duì)比中獲得 82.9% 的偏好率，與 Holodeck 的對(duì)比中則達(dá)到 94.3%。同時(shí)，PSP 的生成速度也更快：從文本到完整場(chǎng)景平均僅需約 38 秒，而 DeclBase 與 Holodeck 分別需要 40.8 秒 與 約 42 秒。

除了人類主觀評(píng)測(cè)外，研究團(tuán)隊(duì)還提出了一種基于多模態(tài) LLM 的自動(dòng)化評(píng)估方法，用于衡量生成場(chǎng)景在語(yǔ)義一致性與視覺(jué)合理性上的表現(xiàn)。在 PSP 與 DeclBase、Holodeck 的對(duì)比中，該自動(dòng)評(píng)測(cè)方法分別給出 77.1% 與 90.0% 的 PSP 偏好選擇率，與人類主觀偏好（82.9% 與 94.3%）趨勢(shì)一致，證明了其在未來(lái)三維場(chǎng)景生成質(zhì)量評(píng)測(cè)中的可靠性與參考價(jià)值。

意義與展望

這項(xiàng)研究揭示了一個(gè)重要趨勢(shì)：未來(lái)的 3D 場(chǎng)景生成，可以不再只是從文本到幾何的單向映射，而是一個(gè)“程序?qū)懯澜纾≒rogram the World）”的過(guò)程。

通過(guò) Procedural Scene Programs（PSP），AI 的 “想象力” 可以與 “編程邏輯” 深度融合：它既繼承了命令式生成的靈活性與層次表達(dá)能力，又以符號(hào)化修正機(jī)制彌補(bǔ)了大模型在空間推理與邏輯一致性上的脆弱。這一范式轉(zhuǎn)變，讓模型不只是理解世界的觀察者，而成為主動(dòng)構(gòu)建世界的開(kāi)發(fā)者。

正如論文作者所言：

“Our approach re-establishes the strengths of imperative scene layout programs while overcoming their fragility to LLM errors.”

PSP 通過(guò)程序語(yǔ)言與自動(dòng)糾錯(cuò)機(jī)制的結(jié)合，為 3D 內(nèi)容生成帶來(lái)了前所未有的可控性與自解釋性。無(wú)論是虛擬城市、游戲關(guān)卡，還是具身智能的視覺(jué)環(huán)境，這一框架都為 AI 世界的構(gòu)建提供了新的邏輯與基礎(chǔ)。