北大大牛團隊最新頂會，首次讓AI能夠生成真實火焰

新智元報道

編輯：艾倫

【新智元導讀】北京大學陳寶權教授團隊提出 FieryGS，被 AI 頂會 ICLR 2026 接收。該框架將多模態大模型、燃燒物理仿真與 3D 高斯濺射深度融合，首次在真實 3D 重建場景中實現了物理可信、語義感知且可控的火焰合成，推動數字孿生從「靜態重建」邁向「動態物理」。

在通往「空間智能」與「世界模型」的征途上，如何讓計算機不僅能以高保真度「重建」靜態的三維孿生世界，更能深刻「理解」并精準「預測」其中的物理動態，一直是計算機圖形學與人工智能領域的重要研究挑戰。

近日，北京大學智能學院陳寶權教授團隊的最新研究成果 FieryGS: In-the-Wild Fire Synthesis with Physics-Integrated Gaussian Splatting 被人工智能頂會 ICLR 2026 接收。

這項工作并非視覺層面的簡單合成，而是另辟蹊徑，構建了一套將多模態大模型（MLLM）的語義理解能力、燃燒動力學物理仿真與 3D 高斯濺射（3DGS）渲染技術深度耦合的框架，首次在真實世界的 3D 重建場景中，實現了物理可信、語義感知且高度可控的燃燒合成。

https://openreview.net/forum?id=ziKFH7whvy

01. 挑戰：當「靜態重建」遇上「動態物理」

隨著 3D Gaussian Splatting（3DGS）技術的發展，我們已經能夠以驚人的速度和照片級的保真度將現實世界數字化。

然而，現有的 3DGS 重建場景本質上是「凍結」的數字孿生——它們擁有精細的幾何與紋理，卻嚴重缺失像物理世界那樣交互和演化的能力。

當我們試圖在這些場景中模擬「起火」這樣復雜的物理現象時，往往面臨著不可調和的技術矛盾。

一方面，傳統的圖形學流程（如基于 CFD 的流體動力學與 VFX 特效軟件）雖然遵循嚴謹的物理定律，但其應用門檻極高。

它們通常要求藝術家對場景進行繁瑣的手工網格重建、UV 展開及材質屬性標注。

面對大規模、非結構化的、不完整的真實世界掃描數據，這種「手動工坊」式的工作流顯然難以擴展。

另一方面，以 Sora、Runway 為代表的視頻生成模型雖然能憑空創造出視覺效果炫酷的火焰視頻，但其本質仍是基于像素概率的預測，而非對物理過程的模擬。

這些模型往往缺乏對三維幾何結構和物理守恒規律的本質理解，極易產生「物理幻覺」：例如，火焰在不可燃的金屬表面憑空燃燒，或者在生成過程中扭曲了原本的場景結構。

02. FieryGS：語義感知與物理驅動的新范式

FieryGS 的研究正是為了打破這一僵局。

針對上述挑戰，FieryGS 提出了一種「語義感知-物理驅動」的全新思路：與其讓 AI 去「猜測」像素的運動，不如讓 AI 去「理解」物理屬性，進而利用準確的物理方程來驅動生成過程。

FieryGS 是一套物理集成的 3DGS 框架，其核心在于搭建了一座橋梁，連接了大模型的常識推理能力與傳統圖形學的物理仿真能力。

系統首先利用多模態大模型（MLLM）作為「物理常識大腦」，對 3DGS 場景進行材質物理屬性推斷；

隨后結合基于歐拉網格的流體力學求解器，驅動火焰與煙霧的演化；

最后通過統一的體積渲染器，輸出光影逼真、物理自洽且交互可控的燃燒效果。

其完整技術管線如下圖所示：

MLLM 驅動的零樣本物理屬性推理

要實現符合常識的燃燒，計算機必須具備類似人類的認知能力：「這是什么物體？」「它由什么材質構成？」「它的燃燒特性如何？」。

在 FieryGS 中，靜態的 3DGS 場景不再是無意義的點云集合，而是被賦予了豐富的物理語義。

本工作設計了一套基于 GPT-4o 的零樣本材質推理機制。

系統首先利用 3D 分割技術將場景中的高斯基元解耦為獨立的物體實例，隨后通過最佳視角選擇算法，將物體在該視角下的渲染圖輸入給大模型。

通過精心設計的視覺與文本提示詞，大模型化身為「物理專家」，能夠精準推斷出場景中物體的材質語義及其對應的熱物理參數：

精準區分桌上的樂高積木是易燃的塑料，而馬克杯中的勺子是耐火的金屬；

根據材質類別，推理出相應的可燃性（Burnability）、熱擴散系數（Thermal Diffusivity）以及燃燒產生的煙霧顏色（如木材產生白煙，塑料產生黑煙）。

這種基于語義的物理屬性初始化，告別了傳統方法中昂貴耗時的人工標注，實現了自動化的場景物理感知，其標注準確性在多個真實復雜場景中得到驗證（詳見論文），為后續的仿真打下堅實基礎。

高效體積燃燒仿真

在獲取了精確的材質屬性后，FieryGS 引入了一個高效的歐拉網格流體求解器，將燃燒過程建模為嚴謹的流體動力學與熱力學方程。

不同于視頻生成模型的像素預測，FieryGS 中火焰的升騰、煙霧的擴散，都以納維-斯托克斯方程（Navier-Stokes Equations）等物理學規律為基礎，受到浮力、風力、渦流以及障礙物邊界條件的共同作用。

FieryGS 還引入了精細的炭化（Charring）模型。

燃燒不僅僅是覆蓋一層火焰特效，而是伴隨著物質狀態的改變，溫度的擴散的復雜有機整體。

FieryGS 模擬了熱量在物體內部的傳導過程，當溫度超過燃點，系統會計算炭化程度并實時更新高斯點的外觀屬性，使其表面逐漸變黑。

這種從微觀熱力學出發的建模，使得燃燒的視覺效果不再是簡單的圖層疊加，而是由溫度場驅動的真實材質演變，不僅呈現出令人信服的物理細節，更可服務于災害預測等重要實際需求。

統一體積燃燒渲染

如何將網格化的燃燒仿真數據與離散化的3D高斯點云融合，是渲染層面的巨大挑戰。

本工作為此提出了一套統一的體積渲染器（Unified Volumetric Renderer）。

這一渲染器打破了傳統渲染管線的邊界，實現了多物理場的光影耦合：

基于黑體輻射定律，根據仿真得到的溫度場計算火焰的物理自發光顏色；

根據材質推理結果渲染不同顏色的煙霧；

通過引入 Phong 光照模型，使火焰不再是孤立的發光體，而是成為了場景中真實的光源。

當火焰在木凳上燃起時，觀察者不僅能看到火光本身，還能看到火光在地面上投下的搖曳倒影，以及周圍物體因被照亮而產生的明暗變化。

這種光影解耦與再渲染，極大地提升了合成畫面的沉浸感。

03. 實驗結果：逼真視效，精準可控

得益于生成式 AI 與圖形學物理防戰的融合，FieryGS 在多個真實世界場景（如室內房間、公園、花園等）的測試中，展現出了超越現有基線方法的卓越性能。

與視頻生成模型相比，FieryGS 不僅嚴格保持了背景幾何結構的穩定性，更展現了從點火、蔓延到熄滅的完整物理過程，兼具物理真實與視覺美觀。

此外，可控性是 FieryGS 的另一大核心優勢。

不同于「抽卡式」的視頻生成，FieryGS 允許用戶以參數化的方式精確控制仿真過程。

用戶可以靈活地指定起火點，調整風向風力以改變火焰蔓延方向，改變燃燒強度以及燃料的物理性質等等，而系統總能生成符合物理邏輯的動態反饋。

04. 從雨到火，邁向可計算的動態孿生

FieryGS 并非一次孤立的技術嘗試。

在此之前，北京大學陳寶權教授團隊已在 CVPR 2025 提出 RainyGS，率先探索了在真實世界 3D 重建場景中，引入物理一致、參數可控的降雨積水等動態的能力。

RainyGS 以高斯表面表達為核心，將降雨、積水、漣漪等復雜流體現象直接綁定于高斯的幾何描述之上，實現了從「靜態重建」到「動態物理」的關鍵跨越，是 Real2Sim2Real 路徑上的重要一步（項目主頁：https://pku-vcl-geometry.github.io/RainyGS/）。

在 RainyGS 中，團隊驗證了一種具有普適性的范式：以緊致、統一的 3DGS 表達作為橋梁，避免在仿真與渲染之間反復切換數據結構，從而同時保證物理真實性、幾何一致性與高效性。這一思路為真實場景中的動態孿生奠定了堅實基礎。

FieryGS 正是在這一體系上的自然演進與系統擴展。

如果說 RainyGS 解決的是「真實場景中如何添加流體動態」，那么 FieryGS 則進一步引入了真實場景的語義理解，以及與真實場景深度耦合的相互物理作用，從而實現復雜的燃燒，這一具有物理因果鏈條的高階動態現象。

通過融合多模態大模型的常識推理能力與嚴謹的燃燒仿真，FieryGS 讓數字孿生世界首次具備了理解材質、推斷屬性、并據此演化物理過程的能力。

從雨水的下落、匯聚與反射，到火焰的點燃、蔓延與熄滅，這一系列工作所共同指向的，并非單一視覺效果的提升，而是一條清晰的技術主線：讓數字孿生世界不再只是「看起來真實」，而是真正遵循物理、可預測、可干預、可用于智能決策。

隨著這一以 3DGS 為核心、融合物理建模與語義推理的動態孿生體系不斷演進，其應用邊界將持續拓展至自動駕駛仿真、具身智能訓練、災害推演以及復雜空間智能系統之中。

RainyGS 與 FieryGS 的連續提出，正在逐步勾勒出一個更具「物理靈魂」的世界模型雛形。

參考資料：

https://openreview.net/forum?id=ziKFH7whvy