IJRR最新成果！中山大學提出基于3D高斯潑濺的機器人自建模技術

機器人自建模，是實現機器人自主智能的核心支撐技術之一。依托自建模，機器人可以像人類一樣，通過視覺學習自身結構與外觀，實現自我認知。在實際應用中，無論是工業機械臂的精準防撞、數字孿生的高保真仿真，還是服務機器人在動態環境中的自適應調整，都離不開對機器人自身結構、運動狀態及外觀特征的精確建模。然而，傳統方法往往受限于設備成本高、建模精度低或特征覆蓋不全面等問題，難以在實際場景中廣泛應用。

早期技術多針對特定任務設計，僅能建模末端執行器位置、關節速度等局部信息，缺乏通用性；依賴深度相機、激光雷達或大量慣性測量單元（IMU）的方案，設備成本高昂且數據采集復雜；基于神經輻射場（NeRF）的方法雖能實現三維重建，但訓練與渲染耗時久，模型可解釋性差，且大多忽略表面顏色建模。而依托于NeRF的僅使用 RGB 圖像的方法，又存在形態重建模糊、無法捕捉連桿結構等問題。如何在低成本前提下，實現高精度、多特征融合的連桿級自建模，成為行業亟待解決的技術難題。

針對上述挑戰，來自中山大學計算機學院的研究團隊（論文第一作者為碩士生胡可鈞，通訊作者為譚寧教授）提出了基于3D 高斯潑濺（3DGS）的自建模技術。僅通過普通RGB 相機采集的二維圖像，即可完成機器人連桿級形態、運動學及表面顏色的高質量建模，為機器人自主化應用開辟了新路徑。近日，該成果以“Learning high-fidelity robot self-model with articulated 3D Gaussian splatting”為題發表在國際機器人權威期刊《IJRR》上。

▍3D 高斯潑濺：機器人自建模的核心技術支撐

3D 高斯潑濺（3DGS）是近年來興起的三維場景重建技術，其核心優勢在于通過靈活可優化的三維高斯函數，實現高效、高質量的三維表征，為解決機器人自建模痛點提供了關鍵工具。

3D 高斯函數的三維表征原理

每個3D 高斯函數可視為一個微小的橢球體，由位置、協方差矩陣、顏色、不透明度等參數定義。協方差矩陣通過旋轉矩陣與縮放矩陣計算得出，能夠靈活調整橢球體的形狀與朝向；顏色信息通過球諧系數表征，可實現與視角相關的真實渲染。這些高斯函數如同 “數字像素”，通過數百萬個單元的有序排列，能夠精準還原機器人的三維形態與表面顏色。

方法概述

與傳統網格建模或NeRF 相比，3DGS 的優勢尤為突出。一是渲染速度快，采用 GPU 優化的光柵化方法，在本任務中，單幅圖像渲染時間僅需 0.08 秒，遠優于 NeRF 的接近1秒的單幅渲染耗時；二是表征能力強，可同時捕捉幾何細節與顏色信息，且參數可直接優化，無需復雜的隱式函數求解；三是適配動態場景，通過調整高斯函數的參數，能夠靈活模擬機器人關節運動帶來的形態變化。

神經骨骼與運動學網絡：賦予模型運動能力

如果說3D 高斯函數構成了機器人的 “數字軀體”，那么神經骨骼與運動學網絡則為其提供了 “運動控制系統”。該系統的核心是構建與機器人連桿對應的神經橢球骨骼，并通過神經網絡實現關節角度與骨骼運動的映射。

神經骨骼的構建采用聚類算法：首先對靜止姿態下的3D 高斯函數進行 K-means 聚類，聚類數量與機器人連桿數量匹配，聚類中心即為骨骼的初始位置；每個骨骼通過中心點、半徑縮放矩陣和旋轉四元數定義，其參數在訓練過程中持續優化。運動學網絡則負責將關節角度轉換為骨骼的運動指令：輸入關節角度向量后，通過 MLP 編碼器與多頭注意力轉換器生成骨骼專屬編碼，再由解碼器輸出骨骼的旋轉矩陣與平移向量，最終實現骨骼的精準運動控制。

3D 高斯形變：聯動軀體與骨骼的動態機制

為了讓3D 高斯函數構成的 “數字軀體” 跟隨神經骨骼運動，技術團隊采用線性混合蒙皮（LBS）技術，通過蒙皮權重將高斯函數與神經骨骼關聯。蒙皮權重由兩部分組成：一部分基于高斯函數與骨骼的馬氏距離計算，確保幾何關聯性；另一部分由權重 MLP 預測，適配不同連桿的真實形態與復雜運動場景。通過加權求和與歸一化處理，每個高斯函數的運動都成為相關骨骼運動的協同結果，從而實現機器人整體形態的自然形變。

三維高斯形變示意圖

這種聯動機制既保證了運動的精準性，又兼顧了幾何的連續性。當關節角度變化時，運動學網絡驅動神經骨骼運動，再通過蒙皮權重傳遞至每個3D 高斯函數，最終實現機器人形態、運動學與表面顏色的同步更新。

▍自建模的實現流程與技術優化

基于3DGS 的機器人自建模流程可分為數據采集、靜態重建、動態訓練與模型優化四個階段，每個階段都針對技術痛點進行了專項設計。

數據采集：低成本、廣覆蓋的輸入方案

數據采集僅需普通RGB 相機與機器人自身的關節角度傳感器，無需額外昂貴設備。采集過程分為兩步：一是靜態數據采集，將機器人所有關節設為零位姿，從不同視角拍攝 100 張圖像，用于構建基礎形態；二是動態數據采集，逐步擴大關節運動范圍（從 [-π/6, π/6] 到 [-π/2, π/2]），隨機生成關節構型并拍攝圖像，同時記錄關節角度與相機參數。整個過程共采集萬級圖像數據，既保證了訓練的充分性，又控制了采集成本。

分階段訓練：解決收斂難題與運動復雜性

為避免多參數同時訓練導致的收斂困難，技術采用分階段訓練策略：首先訓練靜態3DGS 模型，凍結高斯函數參數；隨后專注于訓練運動學網絡與神經骨骼，通過小范圍關節運動數據降低訓練難度；最后恢復所有參數的聯合訓練，逐步擴大關節運動范圍。這種 “從簡到繁” 的訓練模式，使模型能夠穩定學習機器人的運動規律，最終通過 60 萬步訓練實現高精度建模。

多維度損失函數：保障建模質量

模型優化采用多維度損失函數組合，全面約束形態、運動、顏色等關鍵特征：圖像重建損失（L1 損失 + D-SSIM）確保渲染圖像與真實圖像一致；等距約束與局部剛體損失保證形變過程中幾何結構的穩定性；蒙皮權重平滑損失與骨骼中心距離損失，分別優化運動連續性與骨骼分布合理性。通過加權求和的方式，各損失函數協同作用，最終實現形態精度、運動流暢度與顏色真實性的統一。

▍實驗驗證：從仿真到現實的跨越

研究團隊通過嚴格的實驗驗證了該方法的可靠性。在仿真環境中，他們使用7自由度的Franka機器人進行了系統測試。機器人在不同關節構型下采集了上萬張圖像用于訓練，結果顯示訓練好的自模型能夠精準復現各種復雜姿態下的機器人狀態。測試顯示，模型渲染圖像的峰值信噪比（PSNR）達 31.22，結構相似性（SSIM）達 0.988，倒角距離低至 2.761×10??，各項指標均優于基于 NeRF 和 SDF 的傳統方法。

仿真環境下的自建模結果與真實值

在物理實驗中，研究團隊使用4自由度的OpenManipulator機器人和普通攝像設備搭建實驗平臺。盡管面臨相機標定誤差、背景干擾和訓練數據有限等現實困難，該方法依然成功重建了機器人的可信模型。雖然精度相較仿真環境略有下降，但模型準確捕捉了機器人的基本運動特性和外觀特征，充分證明了該技術在實際應用中的可行性。特別是在光線條件良好、數據采集充分的情況下，重建效果幾乎媲美仿真結果。

在無關節限制的情況下，對OpenManipulator 機器人進行的物理實驗

下游任務應用

研究團隊還設計了下游應用任務，以驗證自模型的實際效能。結果顯示，該模型無需額外適配，即可用于機器人運動規劃中。例如在“目標到達” 任務中，通過優化神經骨骼與目標的距離，機器人可自主調整關節角度實現精準定位；在 “避障運動” 任務中，借助其完整的三維空間感知能力，機器人可以在運動過程中持續評估與障礙物的距離，自主規劃出安全可行的行進路線。這種能力不僅確保了作業過程的安全可靠，更體現了系統對工作環境的深度理解。

應用結果

此外，該技術為逆運動學問題提供了新的解決思路。給定一張機器人姿態的圖片，自模型可以通過優化關節角度使其渲染圖像與輸入圖片匹配，從而準確估算出機器人的當前狀態。這項能力在狀態監測、故障診斷等領域具有重要應用價值。

▍結語與展望

總的來說，該自建模方法在四個方面實現了重要突破：一是首次將3DGS技術應用于機器人自建模，僅通過RGB圖像即完成三維重建，大幅降低數據采集成本；二是實現連桿級建模，通過神經骨骼自動識別連桿的空間位置與運動學連接，解決了傳統方法難以精準捕捉連桿結構的問題；三是多特征融合建模，同步還原形態、運動學與表面顏色，滿足數字孿生等場景的可視化需求；四是模型直接可控，無需額外訓練即可用于下游任務，實現了建模與控制的一體化。

盡管取得顯著進展，這項技術仍面臨諸多挑戰。目前的方法基于剛性連桿假設，限制了其在軟體機器人和連續體機器人上的應用。如何將這一技術擴展到更廣泛的機器人類型，是未來值得深入探索的方向。

論文鏈接：https://journals.sagepub.com/doi/10.1177/02783649251396980