中國(guó)構(gòu)建海量3D人臉數(shù)據(jù)庫(kù)，借助點(diǎn)云技術(shù)提升人形機(jī)器人逼真度

新3D面部數(shù)據(jù)集與AI模型，助力人形機(jī)器人在無(wú)需2D紋理映射的情況下檢測(cè)面部關(guān)鍵點(diǎn)。

人形機(jī)器人正變得越來(lái)越難以與真人區(qū)分，而中國(guó)的一項(xiàng)新研究揭示了其中一個(gè)原因。

研究人員開(kāi)發(fā)了一個(gè)大規(guī)模3D面部數(shù)據(jù)集和一個(gè)全新的人工智能模型，該模型能夠直接從原始3D數(shù)據(jù)中檢測(cè)面部關(guān)鍵點(diǎn)，無(wú)需依賴(lài)2D圖像或數(shù)字模板。

這項(xiàng)工作旨在解決構(gòu)建逼真機(jī)器人和虛擬人類(lèi)的核心挑戰(zhàn)：使它們能夠表達(dá)情感、識(shí)別身份并進(jìn)行自然交互。

實(shí)現(xiàn)這一能力的關(guān)鍵技術(shù)基礎(chǔ)之一是三維面部關(guān)鍵點(diǎn)檢測(cè)，即在3D空間中映射面部的關(guān)鍵點(diǎn)。

現(xiàn)有系統(tǒng)大多嚴(yán)重依賴(lài)2D紋理映射或合成的3D面部。這種方法可能會(huì)引入誤差，因?yàn)閿?shù)字模型通常與真實(shí)人類(lèi)面部幾何結(jié)構(gòu)存在差異，且紋理對(duì)齊并不總是精確。

這項(xiàng)新研究旨在通過(guò)直接處理真實(shí)世界的3D面部掃描數(shù)據(jù)來(lái)繞過(guò)這些限制。

該研究由中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院的宋展教授和福建工程學(xué)院的葉宇萍博士領(lǐng)導(dǎo)。

構(gòu)建海量3D數(shù)據(jù)集

為了支持這項(xiàng)工作，研究團(tuán)隊(duì)構(gòu)建了一個(gè)定制的3D和4D面部采集系統(tǒng)。他們進(jìn)行了標(biāo)準(zhǔn)化的數(shù)據(jù)收集，并組建了一個(gè)包含約20萬(wàn)張高保真3D面部掃描圖像的數(shù)據(jù)庫(kù)。

該數(shù)據(jù)庫(kù)還包括一個(gè)多表情3D人臉數(shù)據(jù)集、一個(gè)標(biāo)準(zhǔn)化3D面部關(guān)鍵點(diǎn)數(shù)據(jù)集、一個(gè)高精度3D人體數(shù)據(jù)集，以及一個(gè)動(dòng)態(tài)4D面部表情數(shù)據(jù)集。

這些多模態(tài)生物特征資源共同構(gòu)成了迄今為止報(bào)道的最大規(guī)模結(jié)構(gòu)化真實(shí)3D人類(lèi)面部數(shù)據(jù)集合之一。該數(shù)據(jù)集已被納入福建省2025年高質(zhì)量人工智能數(shù)據(jù)集計(jì)劃。

研究人員沒(méi)有向AI系統(tǒng)輸入帶紋理的圖像，而是設(shè)計(jì)了一種曲率融合圖注意力網(wǎng)絡(luò)（CF-GAT），用于直接處理無(wú)序的點(diǎn)云。點(diǎn)云將面部的幾何結(jié)構(gòu)表示為空間點(diǎn)的集合，不包含表面紋理。

研究團(tuán)隊(duì)引入了一種幾何驅(qū)動(dòng)的采樣策略，該策略在簡(jiǎn)化點(diǎn)集的同時(shí)，保留了關(guān)鍵的曲率信息。這些曲率數(shù)據(jù)被編碼為明確的幾何先驗(yàn)信息，并集成到模型的注意力機(jī)制中。這使得網(wǎng)絡(luò)能夠關(guān)注細(xì)微的局部形狀變化，同時(shí)還能建模整個(gè)面部的全局關(guān)系。

幾何驅(qū)動(dòng)的人工智能突破

通過(guò)其圖注意力結(jié)構(gòu)，CF-GAT能夠直接從原始幾何數(shù)據(jù)中預(yù)測(cè)出3D關(guān)鍵點(diǎn)坐標(biāo)。它不依賴(lài)2D紋理或預(yù)定義的模板模型，從而減少了對(duì)表面外觀的依賴(lài)。

在測(cè)試中，與傳統(tǒng)方法相比，該模型表現(xiàn)出更強(qiáng)的抗噪聲魯棒性和更好的跨不同面部形狀的泛化能力。

它在精細(xì)關(guān)鍵點(diǎn)的定位上也更加準(zhǔn)確，這對(duì)于實(shí)現(xiàn)逼真的表情和精確的面部追蹤至關(guān)重要。

這些發(fā)現(xiàn)突顯了高質(zhì)量、大規(guī)模數(shù)據(jù)集如何直接影響算法性能。通過(guò)在詳細(xì)的真實(shí)世界幾何數(shù)據(jù)上進(jìn)行訓(xùn)練，模型能夠?qū)W習(xí)更豐富的空間模式，并更有效地適應(yīng)現(xiàn)實(shí)世界的變化。

這項(xiàng)進(jìn)展有望支持更逼真的人形機(jī)器人、改進(jìn)的生物識(shí)別系統(tǒng)以及更具表現(xiàn)力的虛擬化身。隨著人形機(jī)器人越來(lái)越多地出現(xiàn)在娛樂(lè)、醫(yī)療和服務(wù)領(lǐng)域，其底層的幾何智能水平將在很大程度上決定它們?cè)谌祟?lèi)用戶眼中的自然程度。

該研究發(fā)表于《IEEE視頻技術(shù)電路與系統(tǒng)匯刊》。

如果朋友們喜歡，敬請(qǐng)關(guān)注“知新了了”！