業(yè)界首個高質(zhì)量原生3D組件生成模型來了!來自騰訊混元3D團(tuán)隊。
現(xiàn)有的3D生成算法通常會生成一體化的3D模型,而下游應(yīng)用通常需要語義可分解的3D形狀,即3D物體的每一個組件需要單獨地生成出來。
一般來說,組件式3D生成主要有2個應(yīng)用場景:
1) 視頻游戲制作管線: 在游戲中, 很多資產(chǎn)是要根據(jù)語意信息將其綁定不同的游戲邏輯, 比如,汽車模型應(yīng)該能夠被分解為主體和四個可滾動的輪子, 這樣輪子是可以單獨滾動起來的。所以組件拆分很重要。
與此同時,3D幾何生成的下游鏈路,包括低模拓?fù)洌琔V展開等模塊。這些模塊處理很復(fù)雜的幾何會變得困難,通過將復(fù)雜幾何進(jìn)行拆分簡單的小組件,這種分而治之的策略,可以大大降低下游算法的處理難度。
2)3D打印: 這對3D打印行業(yè)也是不錯的消息, 用戶可以把組件一個一個打印出來然后再組裝,像搭積木一樣。
然而,現(xiàn)有的組件式3D生成方法通常缺乏足夠的可控性,生成部件的幾何質(zhì)量不夠理想,并且語義連貫性有限。
對此,Hunyuan3D-Part提出了一種用于打造可投入生產(chǎn),幾何質(zhì)量高,可編輯,且結(jié)構(gòu)合理的組件式3D生成新范式。
下面詳細(xì)來看。
技術(shù)流程介紹
如下圖所示,給定一張輸入圖片,團(tuán)隊首先使用Hunyuan3D的基模型獲取整體形狀(可以是V2.5或者V3.0)。
然后,將整體Mesh傳遞給部件檢測模塊P3-SAM,以獲得語義特征和部件的邊界框(bounding boxes)。
最后,由X-Part將整體形狀分解為各個部件。
![]()
△圖1. Hunyuan3D-Part組件拆分整體流程
其技術(shù)亮點在于:
1)提出了業(yè)界首個原生3D分割模型P3-SAM, 利用大規(guī)模高質(zhì)量3D數(shù)據(jù)訓(xùn)練,擺脫對2D數(shù)據(jù)的依賴,大幅提高3D組件分割的精度和魯棒性。
2)提出了工業(yè)級組件生成模型X-Part,重新定義3D組件生成可控性和生成質(zhì)量的天花板。
技術(shù)展開介紹
以下為P3-SAM和X-Part的詳細(xì)介紹。
原生3D分割模型P3-SAM
團(tuán)隊提出了一種原生3D的分割模型,稱為Point-PromptablePartSegmentation,即P3-SAM。
該模型旨在實現(xiàn)對任意復(fù)雜三維物體的全自動分割,生成精確掩碼并具備極強的魯棒性。作為開創(chuàng)性的可提示圖像分割工作,SAM為實現(xiàn)這一目標(biāo)提供了可行的方案。
然而,本方法聚焦于自動實現(xiàn)精確的組件分割,并對SAM的體系結(jié)構(gòu)進(jìn)行了簡化。團(tuán)隊未采用SAM中復(fù)雜的分割解碼器和多類型提示,僅采用單一正點提示進(jìn)行處理。
具體來說,如圖2所示,P3-SAM包含一個特征提取器、三個分割頭和一個IoU(交并比)預(yù)測頭。
![]()
△圖2. P3-SAM訓(xùn)練流程
PointTransformerV3作為特征提取器,并融合其不同層級的特征作為點級特征。輸入的點提示和特征信息會被融合,并傳遞至分割頭,用于預(yù)測三個多尺度掩碼。同時,IoU預(yù)測頭用于評估掩碼質(zhì)量。
為實現(xiàn)物體的自動分割,如圖3所示,團(tuán)隊利用FPS(最遠(yuǎn)點采樣)生成點提示,配合NMS(非極大值抑制)合并冗余掩碼。點級掩碼隨后被投影到網(wǎng)格面上,從而獲得部件分割結(jié)果。
![]()
△圖3. P3-SAM自動分割流程
本方法的另一關(guān)鍵創(chuàng)新在于,完全摒棄2D SAM的影響,依賴于原生3D部件監(jiān)督,進(jìn)行原生3D分割模型的訓(xùn)練。
鑒于現(xiàn)有3D部件分割數(shù)據(jù)集規(guī)模普遍較小且缺乏詳細(xì)部件標(biāo)注,本方案開發(fā)了一套用于美術(shù)師創(chuàng)建網(wǎng)格的自動化部件標(biāo)注流程,并據(jù)此生成了一個包含370萬個高質(zhì)量部件級掩碼的三維網(wǎng)格數(shù)據(jù)集。
最終模型在該數(shù)據(jù)集上展現(xiàn)出優(yōu)越的可擴(kuò)展性,并實現(xiàn)了強魯棒性、精確性及全局一致性的組件級分割。
X-Part:高保真且結(jié)構(gòu)一致的形狀分解
X-Part能夠?qū)崿F(xiàn)具有語義意義且結(jié)構(gòu)一致的部件生成。目標(biāo)是在給定物體點云的情況下,生成高保真、結(jié)構(gòu)一致的部件幾何體,同時保證對分解過程的靈活可控性。
如圖4所示,首先利用P3-SAM得到組件的包圍盒,點云語義特征。 為實現(xiàn)可控性提出了一個基于部件級提示的特征提取模塊,利用P3-SAM包圍盒作為提示,指示部件的位置和尺寸,而不是直接將分割結(jié)果作為輸入。
與細(xì)粒度、點級分割提示相比,包圍盒提供了一種更粗粒度的引導(dǎo)方式,有助于緩解對輸入的過擬合。
此外,包圍盒還為部分可見部件提供了額外的體積信息,從而有利于生成和可控性。
其次,盡管分割結(jié)果可能存在不準(zhǔn)確,團(tuán)隊注意到高維點級語義特征并沒有受到P3-SAM中聚類算法或預(yù)測頭所導(dǎo)致的信息壓縮影響,因此能夠提供更準(zhǔn)確的語義表示。
因此,團(tuán)隊將語義特征以精心設(shè)計的特征擾動方式引入到其框架中,這有助于實現(xiàn)有意義的部件分解。
![]()
△圖4. X-Part訓(xùn)練流程
Benchmark定量對比結(jié)果
本方案在三個數(shù)據(jù)集上進(jìn)行了效果評估:PartObj-Tiny、PartObj-Tiny-WT和PartNetE。
PartObj-Tiny是Objarvse的一個子集,包含8個類別共200個數(shù)據(jù)樣本,并且都帶有人工標(biāo)注的部件分割信息。
PartObj-Tiny-WT是PartObj-Tiny的閉合水密(watertight)版本。
如表1(組件分割模型P3-SAM和現(xiàn)有工作對比結(jié)果)、表2(組件生成模型X-Part和競品對比結(jié)果)所示,其分割和生成結(jié)果大幅超越現(xiàn)有工作。
![]()
![]()
可視化效果
團(tuán)隊還對模型的分割及生成效果進(jìn)行了可視化。
下圖為P3-SAM的分割結(jié)果:
![]()
然后是X-Part的生成結(jié)果:
![]()
下圖為X-Part的生成結(jié)果, 左中右依次為輸入圖、混元3D V2.5生成結(jié)果、組件拆分結(jié)果。
![]()
下圖為X-Part的生成結(jié)果和開源對比:
![]()
下圖為X-Part的生成結(jié)果和閉源R模型對比:
![]()
體驗地址及相關(guān)技術(shù)論文如下。
代碼:https://github.com/Tencent-Hunyuan/Hunyuan3D-Part
權(quán)重: https://huggingface.co/tencent/Hunyuan3D-Part
P3-SAM論文及項目地址:
https://arxiv.org/abs/2509.06784
https://murcherful.github.io/P3-SAM/
X-Part論文及項目地址:
https://arxiv.org/abs/2509.08643
https://yanxinhao.github.io/Projects/X-Part/
體驗入口:
(輕量版)Hugging Face demo:https://huggingface.co/spaces/tencent/Hunyuan3D-Part
(滿血版)混元3D Studio:https://3d.hunyuan.tencent.com/studio
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.