新3D面部數(shù)據(jù)集與AI模型,助力人形機(jī)器人在無(wú)需2D紋理映射的情況下檢測(cè)面部關(guān)鍵點(diǎn)。
![]()
人形機(jī)器人正變得越來(lái)越難以與真人區(qū)分,而中國(guó)的一項(xiàng)新研究揭示了其中一個(gè)原因。
研究人員開(kāi)發(fā)了一個(gè)大規(guī)模3D面部數(shù)據(jù)集和一個(gè)全新的人工智能模型,該模型能夠直接從原始3D數(shù)據(jù)中檢測(cè)面部關(guān)鍵點(diǎn),無(wú)需依賴(lài)2D圖像或數(shù)字模板。
這項(xiàng)工作旨在解決構(gòu)建逼真機(jī)器人和虛擬人類(lèi)的核心挑戰(zhàn):使它們能夠表達(dá)情感、識(shí)別身份并進(jìn)行自然交互。
實(shí)現(xiàn)這一能力的關(guān)鍵技術(shù)基礎(chǔ)之一是三維面部關(guān)鍵點(diǎn)檢測(cè),即在3D空間中映射面部的關(guān)鍵點(diǎn)。
現(xiàn)有系統(tǒng)大多嚴(yán)重依賴(lài)2D紋理映射或合成的3D面部。這種方法可能會(huì)引入誤差,因?yàn)閿?shù)字模型通常與真實(shí)人類(lèi)面部幾何結(jié)構(gòu)存在差異,且紋理對(duì)齊并不總是精確。
這項(xiàng)新研究旨在通過(guò)直接處理真實(shí)世界的3D面部掃描數(shù)據(jù)來(lái)繞過(guò)這些限制。
該研究由中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院的宋展教授和福建工程學(xué)院的葉宇萍博士領(lǐng)導(dǎo)。
構(gòu)建海量3D數(shù)據(jù)集
為了支持這項(xiàng)工作,研究團(tuán)隊(duì)構(gòu)建了一個(gè)定制的3D和4D面部采集系統(tǒng)。他們進(jìn)行了標(biāo)準(zhǔn)化的數(shù)據(jù)收集,并組建了一個(gè)包含約20萬(wàn)張高保真3D面部掃描圖像的數(shù)據(jù)庫(kù)。
該數(shù)據(jù)庫(kù)還包括一個(gè)多表情3D人臉數(shù)據(jù)集、一個(gè)標(biāo)準(zhǔn)化3D面部關(guān)鍵點(diǎn)數(shù)據(jù)集、一個(gè)高精度3D人體數(shù)據(jù)集,以及一個(gè)動(dòng)態(tài)4D面部表情數(shù)據(jù)集。
這些多模態(tài)生物特征資源共同構(gòu)成了迄今為止報(bào)道的最大規(guī)模結(jié)構(gòu)化真實(shí)3D人類(lèi)面部數(shù)據(jù)集合之一。該數(shù)據(jù)集已被納入福建省2025年高質(zhì)量人工智能數(shù)據(jù)集計(jì)劃。
研究人員沒(méi)有向AI系統(tǒng)輸入帶紋理的圖像,而是設(shè)計(jì)了一種曲率融合圖注意力網(wǎng)絡(luò)(CF-GAT),用于直接處理無(wú)序的點(diǎn)云。點(diǎn)云將面部的幾何結(jié)構(gòu)表示為空間點(diǎn)的集合,不包含表面紋理。
研究團(tuán)隊(duì)引入了一種幾何驅(qū)動(dòng)的采樣策略,該策略在簡(jiǎn)化點(diǎn)集的同時(shí),保留了關(guān)鍵的曲率信息。這些曲率數(shù)據(jù)被編碼為明確的幾何先驗(yàn)信息,并集成到模型的注意力機(jī)制中。這使得網(wǎng)絡(luò)能夠關(guān)注細(xì)微的局部形狀變化,同時(shí)還能建模整個(gè)面部的全局關(guān)系。
幾何驅(qū)動(dòng)的人工智能突破
通過(guò)其圖注意力結(jié)構(gòu),CF-GAT能夠直接從原始幾何數(shù)據(jù)中預(yù)測(cè)出3D關(guān)鍵點(diǎn)坐標(biāo)。它不依賴(lài)2D紋理或預(yù)定義的模板模型,從而減少了對(duì)表面外觀的依賴(lài)。
在測(cè)試中,與傳統(tǒng)方法相比,該模型表現(xiàn)出更強(qiáng)的抗噪聲魯棒性和更好的跨不同面部形狀的泛化能力。
它在精細(xì)關(guān)鍵點(diǎn)的定位上也更加準(zhǔn)確,這對(duì)于實(shí)現(xiàn)逼真的表情和精確的面部追蹤至關(guān)重要。
這些發(fā)現(xiàn)突顯了高質(zhì)量、大規(guī)模數(shù)據(jù)集如何直接影響算法性能。通過(guò)在詳細(xì)的真實(shí)世界幾何數(shù)據(jù)上進(jìn)行訓(xùn)練,模型能夠?qū)W習(xí)更豐富的空間模式,并更有效地適應(yīng)現(xiàn)實(shí)世界的變化。
這項(xiàng)進(jìn)展有望支持更逼真的人形機(jī)器人、改進(jìn)的生物識(shí)別系統(tǒng)以及更具表現(xiàn)力的虛擬化身。隨著人形機(jī)器人越來(lái)越多地出現(xiàn)在娛樂(lè)、醫(yī)療和服務(wù)領(lǐng)域,其底層的幾何智能水平將在很大程度上決定它們?cè)谌祟?lèi)用戶眼中的自然程度。
該研究發(fā)表于《IEEE視頻技術(shù)電路與系統(tǒng)匯刊》。
如果朋友們喜歡,敬請(qǐng)關(guān)注“知新了了”!
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.