何愷明團(tuán)隊(duì)新作GeoPT，全新預(yù)訓(xùn)練范式讓模型自學(xué)真實(shí)物理規(guī)律

henry 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

靜態(tài)3D資產(chǎn)缺少動(dòng)力學(xué)信息，真實(shí)物理標(biāo)簽又極其昂貴——

物理仿真到底該如何scaling？

何愷明團(tuán)隊(duì)最新的論文GeoPT提供了新思路——

GeoPT提出了一種全新的動(dòng)力學(xué)提升預(yù)訓(xùn)練范式，通過(guò)合成動(dòng)力學(xué)（Synthetic Dynamics）將靜態(tài)幾何“提升”到動(dòng)態(tài)空間，讓模型在無(wú)標(biāo)簽數(shù)據(jù)上通過(guò)學(xué)習(xí)粒子軌跡演化來(lái)獲取物理直覺。

在相同的精度條件下，GeoPT最高可以節(jié)省60%的物理仿真數(shù)據(jù)。

接下來(lái)，我們一起來(lái)看。

將靜態(tài)幾何“提升”到動(dòng)態(tài)空間

一般來(lái)說(shuō)，物理系統(tǒng)的解場(chǎng)（Solution Fields）是由幾何G（定義空間邊界）和系統(tǒng)條件S（動(dòng)力學(xué)驅(qū)動(dòng)，如速度、力）共同決定的。

以空氣動(dòng)力學(xué)為例，汽車的形狀（幾何）定義了空間的邊界，而風(fēng)速和風(fēng)向（動(dòng)力學(xué)條件）則決定了流場(chǎng)的演化與具體的阻力分布。

當(dāng)前，為了實(shí)現(xiàn)對(duì)物理系統(tǒng)的預(yù)測(cè)與控制，研究已經(jīng)從傳統(tǒng)的物理仿真，轉(zhuǎn)向基于數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)仿真器。

然而，這一路徑面臨著兩個(gè)核心瓶頸：

一方面是標(biāo)注成本極高

訓(xùn)練仿真器依賴由傳統(tǒng)數(shù)值求解器（如CFD/FEA）生成的監(jiān)督數(shù)據(jù)，生成一個(gè)工業(yè)級(jí)精度樣本往往耗費(fèi)數(shù)萬(wàn)CPU小時(shí)，高昂的“標(biāo)簽生成”成本嚴(yán)重限制了仿真器的規(guī)模化（Scaling）。

另一方面是靜態(tài)預(yù)訓(xùn)練的局限

盡管互聯(lián)網(wǎng)上有海量的3D幾何數(shù)據(jù)，但如果僅對(duì)靜態(tài)幾何進(jìn)行自監(jiān)督預(yù)訓(xùn)練（如常見的掩碼重建任務(wù)），會(huì)因完全缺失“動(dòng)力學(xué)”維度，導(dǎo)致模型無(wú)法捕捉物理仿真的核心特征，甚至在下游任務(wù)中出現(xiàn)“負(fù)遷移”現(xiàn)象。

基于此，愷明團(tuán)隊(duì)提出了一種全新的預(yù)訓(xùn)練范式——動(dòng)力學(xué)提升的幾何預(yù)訓(xùn)練（Dynamics-lifted Geometric Pre-training）

其核心在于，雖然真實(shí)的物理標(biāo)簽難求，但“動(dòng)力學(xué)”本身是可以被參數(shù)化的。

研究通過(guò)在預(yù)訓(xùn)練階段引入合成動(dòng)力學(xué)（Synthetic Dynamics），讓GeoPT不僅學(xué)習(xí)到幾何特征，還通過(guò)引入隨機(jī)速度場(chǎng)v，將表征從單純的幾何空間提升到“幾何+動(dòng)力學(xué)”的聯(lián)合空間。

在這里，研究不依賴由物理決定、且需要昂貴仿真才能獲取的v，而是通過(guò)隨機(jī)采樣每個(gè)粒子的速度來(lái)構(gòu)建合成速度（Synthetic Velocities）

由此，自監(jiān)督目標(biāo)變成了幾何特征在這種合成動(dòng)力學(xué)下的軌跡：

于是，通過(guò)追蹤幾何特征沿這些合成軌跡的演化過(guò)程，研究獲得了一個(gè)完全由幾何構(gòu)建的、感知?jiǎng)恿W(xué)的監(jiān)督信號(hào)。

這使得模型在接觸真實(shí)的物理標(biāo)簽之前，就能夠通過(guò)海量無(wú)標(biāo)簽幾何數(shù)據(jù)，預(yù)先學(xué)習(xí)到物理演化中通用的空間約束與耦合規(guī)律。

與此同時(shí)，上述動(dòng)力學(xué)提升框架不僅提供了預(yù)訓(xùn)練目標(biāo)，還為下游任務(wù)提供了一個(gè)統(tǒng)一的接口：在預(yù)訓(xùn)練和微調(diào)階段，模型均接收幾何和速度作為輸入。

預(yù)訓(xùn)練后，GeoPT捕捉到了以速度為條件的物理對(duì)齊相關(guān)性，通過(guò)將動(dòng)力學(xué)條件特化為相應(yīng)的仿真設(shè)置并學(xué)習(xí)求解器生成的標(biāo)簽，進(jìn)而可以被微調(diào)至特定的物理任務(wù)。

訓(xùn)練流程

在預(yù)訓(xùn)練階段，模型被訓(xùn)練用于預(yù)測(cè)合成動(dòng)力學(xué)下的幾何特征軌跡，其損失函數(shù)定義為：

該目標(biāo)函數(shù)涵蓋了三個(gè)核心變量的組合：

• 幾何：從包含車、機(jī)、船等萬(wàn)余個(gè)幾何體的數(shù)據(jù)集中進(jìn)行類別平衡采樣。
• 追蹤點(diǎn)x：從物體周圍的體積空間和幾何邊界上采樣初始位置。
• 速度v：從有界球體中為每個(gè)點(diǎn)均勻采樣隨機(jī)速度。

給定上述 (G, V) 信息后，軌跡通過(guò)公式確定性計(jì)算得出，其監(jiān)督目標(biāo)即為沿此路徑的幾何特征序列。

由于預(yù)訓(xùn)練使GeoPT捕捉到了以速度為條件的物理對(duì)齊相關(guān)性，在微調(diào)階段，只需將預(yù)訓(xùn)練時(shí)的隨機(jī)速度替換為編碼了特定仿真設(shè)置的任務(wù)特定速度。

具體的適配策略如下：

• 空氣動(dòng)力學(xué)：將入射流條件（速度、攻角等）編碼為Vs，其方向與流向一致。
• 水動(dòng)力學(xué)：分別為水、氣兩相配置不同的Vs，反映船舶阻力仿真中的兩相流。
• 碰撞仿真：將沖擊方向編碼為Vs，其大小從碰撞點(diǎn)開始隨空間衰減，以反映力的傳播。

這種統(tǒng)一接口的設(shè)計(jì)，使得單個(gè)預(yù)訓(xùn)練模型只需通過(guò)重配置速度輸入，即可適配多樣化的物理仿真任務(wù)。

在具體的細(xì)節(jié)方面，研究采用Transolver作為骨干網(wǎng)絡(luò)，并配置了從3M到15M參數(shù)的三種模型尺寸。

在數(shù)據(jù)效率方面，軌跡被離散化為 3 個(gè)步驟，使用向量距離（Vector Distance）編碼幾何信息。每個(gè)幾何體采樣約3.6萬(wàn)個(gè)點(diǎn)，并生成100個(gè)隨機(jī)動(dòng)力學(xué)場(chǎng)。

在計(jì)算優(yōu)勢(shì)上，監(jiān)督信號(hào)通過(guò)優(yōu)化的射線-三角形求交算法計(jì)算。處理一個(gè)樣本僅需約0.2秒，比工業(yè)級(jí) CFD 仿真快10^7倍。在80核CPU上，僅需3天即可生成5TB的預(yù)訓(xùn)練數(shù)據(jù)集。

目前，該框架已開源，感興趣的同學(xué)可以參考文末鏈接。

實(shí)驗(yàn)驗(yàn)證

在預(yù)訓(xùn)練中，研究使用ShapeNet-V1數(shù)據(jù)集，包含汽車、飛機(jī)、船舶等三類工業(yè)相關(guān)幾何，通過(guò)采樣生成了超過(guò)100萬(wàn)個(gè)樣本（約5TB數(shù)據(jù)） 。

任務(wù)覆蓋流體力學(xué)： 汽車空氣動(dòng)力學(xué) (DrivAerML)、飛機(jī)受力分析 (NASA-CRM)、船舶水動(dòng)力學(xué) (DTCHull) ；固體力學(xué)： 汽車碰撞最大應(yīng)力仿真 (Car-Crash) 以及 輻射度仿真 (Radiosity) 等 。

實(shí)驗(yàn)結(jié)果表明，GeoPT顯著降低了對(duì)標(biāo)注數(shù)據(jù)的依賴，在達(dá)到相同精度時(shí)可節(jié)省20-60%的物理仿真數(shù)據(jù)。

與此同時(shí)，GeoPT還使微調(diào)階段的收斂速度比從頭訓(xùn)練快2倍

而且，隨著模型層數(shù)增加（從8層增加到32層）和預(yù)訓(xùn)練數(shù)據(jù)量的增大，性能持續(xù)穩(wěn)步提升，展現(xiàn)了“物理大模型”的潛力 。

總的來(lái)說(shuō)，論文證明了通過(guò)“合成動(dòng)力學(xué)軌跡”進(jìn)行預(yù)訓(xùn)練，可以有效彌合靜態(tài)幾何與復(fù)雜動(dòng)態(tài)物理任務(wù)之間的鴻溝 。

GeoPT 為構(gòu)建通用的物理仿真基礎(chǔ)模型開辟了一條可擴(kuò)展的路徑，即：

大規(guī)模無(wú)標(biāo)簽幾何+簡(jiǎn)單的合成動(dòng)力學(xué)自監(jiān)督=強(qiáng)大的跨領(lǐng)域物理仿真能力

論文作者

這篇論文的第一作者是來(lái)自MIT（CSAIL）的博士后研究員吳海旭

他目前師從Wojciech Matusik教授。此前，吳海旭在清華大學(xué)獲得博士和學(xué)士學(xué)位，導(dǎo)師為龍明盛教授。

值得一提的是，龍明盛教授現(xiàn)為清華大學(xué)軟件學(xué)院副教授，也是本文作者之一。

論文的共同第一作者是Minghao Guo，他目前為MIT（CSAIL）博士生，同樣師從Wojciech Matusik教授。

他本科就讀于清華大學(xué)，碩士畢業(yè)于香港中文大學(xué)。

此外，論文的其他作者還包括Zongyi Li（何愷明教授的博士后）、MIT博士生Zhiyang (Frank) Dou，以及何愷明教授和Wojciech Matusik教授。

[1]https://arxiv.org/abs/2602.20399v1

[2]https://github.com/Physics-Scaling/GeoPT