IROS 2025 | 大連理工等提出STG-Avatar：25分鐘訓(xùn)練，單目視頻實(shí)時生成高保真數(shù)字人

文章來源：我愛計算機(jī)視覺（ID：aicvml）

最近，數(shù)字人領(lǐng)域因?yàn)?D高斯濺射（3D Gaussian Splatting）技術(shù)的出現(xiàn)，又熱鬧了起來。這項技術(shù)大大加快了渲染速度，讓實(shí)時高保真渲染成為了可能。不過，挑戰(zhàn)依然存在，尤其是在處理衣服、快速運(yùn)動的肢體等這些“軟”的、動態(tài)的細(xì)節(jié)時，效果總是不盡如人意。

今天，CV君想和大家聊一篇剛被機(jī)器人頂會IROS 2025接收的論文《STG-Avatar: Animatable Human Avatars via Spacetime Gaussian》。這篇工作來自大連理工大學(xué)、復(fù)旦大學(xué)等機(jī)構(gòu)的研究者們，他們提出了一個名為STG-Avatar的全新框架，旨在解決上述痛點(diǎn)。簡單來說，只用一段普通單目視頻，它就能在25分鐘內(nèi)訓(xùn)練出一個細(xì)節(jié)豐富、可實(shí)時動畫的數(shù)字人分身，并能以60 FPS的絲滑幀率進(jìn)行渲染。

• 
  

  論文標(biāo)題 : STG-Avatar: Animatable Human Avatars via Spacetime Gaussian

• 作者 : Guangan Jiang, Tianzi Zhang, Dong Li, Zhenjun Zhao, Haoang Li, Mingrui Li, Hongyu Wang

• 機(jī)構(gòu) : 大連理工大學(xué)、復(fù)旦大學(xué)、澳門大學(xué)、薩拉戈薩大學(xué)、香港科技大學(xué)（廣州）

• 論文地址 : https://arxiv.org/abs/2510.22140

• 項目主頁（尚未開源） : https://github.com/jiangguangan/STG-Avatar

創(chuàng)建逼真的可動數(shù)字人，無論是在人機(jī)交互、VR/AR還是機(jī)器人遠(yuǎn)程呈現(xiàn)等領(lǐng)域，都有著巨大的應(yīng)用價值。傳統(tǒng)方法，比如基于NeRF（神經(jīng)輻射場）的技術(shù)，雖然能生成高質(zhì)量的數(shù)字人，但訓(xùn)練和渲染速度都太慢，動輒需要幾十個小時訓(xùn)練，渲染一幀也要好幾秒，離“實(shí)時”相去甚遠(yuǎn)。

3D高斯濺射（3DGS）的出現(xiàn)像一股清流，它用成千上萬個“高斯球”來顯式地表示三維場景，渲染速度極快。然而，當(dāng)面對一個活生生的人時，3DGS也遇到了麻煩?，F(xiàn)有的基于3DGS的方法通常使用經(jīng)典的線性混合蒙皮（Linear Blend Skinning, LBS）模型來驅(qū)動人體的骨骼運(yùn)動。LBS擅長處理剛性的骨骼和關(guān)節(jié)運(yùn)動，但對于衣服的褶皺、頭發(fā)的飄動這類非剛性變形，就顯得力不從心，導(dǎo)致細(xì)節(jié)丟失或產(chǎn)生不自然的“穿?！爆F(xiàn)象。

如何才能既保留LBS帶來的高效實(shí)時骨骼控制，又能精準(zhǔn)捕捉那些微妙的非剛性動態(tài)細(xì)節(jié)呢？這正是STG-Avatar試圖解決的核心問題。

方法：剛?cè)岵?jì)，時空高斯巧補(bǔ)細(xì)節(jié)

STG-Avatar的核心思想是“剛?cè)岵?jì)”。它巧妙地將LBS和一種名為“時空高斯（Spacetime Gaussian, STG）”的技術(shù)結(jié)合起來，形成了一個剛-非剛耦合的變形框架。

整個流程可以分為三個階段：

1. SMPL引導(dǎo)的初始化 ：首先，利用SMPL人體參數(shù)化模型對時空高斯進(jìn)行初步的位置設(shè)定。

2. 剛-非剛協(xié)同優(yōu)化 ：這是最關(guān)鍵的一步。LBS負(fù)責(zé)驅(qū)動人體總體的、剛性的姿態(tài)變化，保證了動畫的實(shí)時性和骨骼運(yùn)動的準(zhǔn)確性。而STG則在此基礎(chǔ)上，對3D高斯球進(jìn)行時空維度的自適應(yīng)優(yōu)化，專門捕捉和補(bǔ)償LBS無法處理的非剛性變形，比如衣服的褶皺和擺動。

3. 動態(tài)感知的神經(jīng)渲染 ：最后，通過一個輕量級的MLP（多層感知機(jī)）進(jìn)行顏色解碼和渲染。

為了更好地捕捉高速運(yùn)動區(qū)域的細(xì)節(jié)，作者們還引入了一個非常聰明的策略：用光流（Optical Flow）來識別哪些區(qū)域正在快速運(yùn)動。

上圖展示了未使用光流引導(dǎo)（左）和使用后（右）的對比?？梢郧逦乜吹?，在手部、面部這些細(xì)節(jié)豐富且動態(tài)的區(qū)域，完整模型的重建效果有了顯著提升。當(dāng)檢測到某個區(qū)域（比如揮舞的手臂）運(yùn)動劇烈時，框架就會自動地、有針對性地在該區(qū)域增加3D高斯球的密度。這樣一來，計算資源就被用在了“刀刃上”，既能精準(zhǔn)還原動態(tài)細(xì)節(jié)，又避免了全局加密帶來的巨大計算開銷。

實(shí)驗(yàn)：效果與效率雙雙領(lǐng)先

口說無憑，實(shí)驗(yàn)為證。研究者們在ZJU-MoCap和THUman4.0這兩個主流的單目視頻人體動作捕捉數(shù)據(jù)集上，將STG-Avatar與當(dāng)前最先進(jìn)的方法（SOTA）進(jìn)行了全面對比。

定量對比

從上表數(shù)據(jù)可以看出，在PSNR、SSIM（越高越好）和LPIPS（越低越好）這三項關(guān)鍵的圖像質(zhì)量評估指標(biāo)上，STG-Avatar都取得了最優(yōu)或次優(yōu)的成績，全面超越了HumanNeRF、GauHuman和3DGS-Avatar等方法。特別是在動態(tài)區(qū)域，其PSNR比3DGS-Avatar提升了1.5dB，衣物褶皺的LPIPS誤差降低了23%。

定性對比

上圖是在ZJU-MoCap數(shù)據(jù)集上的效果對比，可以直觀地看到，相比其他方法，STG-Avatar（Ours）在重建衣服褶皺、身體輪廓等非剛性部分的細(xì)節(jié)上要清晰和真實(shí)得多。

在難度更高的THUman4.0數(shù)據(jù)集上，STG-Avatar同樣表現(xiàn)出色，無論是衣服的紋理、褶皺還是面部特征，都還原得惟妙惟肖。

效率對比

效率是STG-Avatar的另一大殺手锏。在單張RTX 4090顯卡上，訓(xùn)練時間僅需25分鐘，而渲染速度則達(dá)到了驚人的60 FPS，真正實(shí)現(xiàn)了實(shí)時交互。相比之下，NeRF類方法需要數(shù)天訓(xùn)練，而其他3DGS方法要么訓(xùn)練更慢，要么效果稍遜。

消融實(shí)驗(yàn)

為了驗(yàn)證框架中各個模塊的有效性，作者還進(jìn)行了消融研究。結(jié)果表明，無論是光流引導(dǎo)的采樣，還是STG模塊，都對最終的性能提升起到了至關(guān)重要的作用。

總結(jié)

CV君認(rèn)為，STG-Avatar的巧妙之處在于它沒有試圖用一個“萬能模型”去解決所有問題，而是將剛性運(yùn)動和非剛性細(xì)節(jié)這兩個不同性質(zhì)的問題解耦，并用最適合的技術(shù)（LBS和STG）分別應(yīng)對，最后通過光流進(jìn)行智能化的資源調(diào)配。這種“分而治之”的哲學(xué)，在資源有限的情況下，實(shí)現(xiàn)了效果和效率的最佳平衡。

大家對這個方法怎么看？歡迎在評論區(qū)留下你的看法！