唇語同步機器人面部技術助力未來機器人更自然對話

當你看到某個東西表現得像人類但實際上不是人類時，那種令人不安的感覺仍然是機器人技術中的一個重大問題——特別是對于那些被設計成看起來和說話都像我們的機器人。

這種奇特的感覺被稱為恐怖谷效應。機器人專家努力跨越這個谷底的一種方法是讓機器人的嘴唇動作與其聲音相匹配。上周三，哥倫比亞大學宣布了一項研究，深入探討新一代機器人面部如何更真實地說話。

參與這項研究的哥倫比亞大學工程學教授霍德·利普森告訴CNET，機器人之所以"令人不安"的一個主要原因是它們說話時不像我們那樣移動嘴唇。"我們的目標是解決這個在機器人技術中被忽視的問題，"利普森說。

這項研究正值圍繞家用和工作場所機器人的熱潮不斷升溫。例如，在本月早些時候的2026年國際消費電子展上，CNET看到了一系列設計用于與人互動的機器人。從最新的波士頓動力Atlas機器人到像疊衣服機器人這樣的家用機器人，甚至還有專為環境研究設計的龜形機器人，都在這個世界最大的科技展上亮相。如果以CES為指標，2026年可能是消費級機器人技術的重要一年。

其中最重要的是那些擁有身體、面部和模仿我們皮膚的合成皮膚的仿人機器人。CES展會包括來自Realbotix的類人機器人，它們可以在信息臺工作或為人類提供安慰，以及來自Lovense的關系機器人，配備了能夠"記住"親密對話的人工智能。

但是嘴唇動作和語音之間哪怕是瞬間的不匹配，都可能意味著一臺你能產生情感依戀的機器和一臺只不過是令人不安的電子動畫裝置之間的區別。

因此，如果人們要接受仿人機器人在日常生活中與我們"共同生活"，最好是它們在說話時不會讓我們感到輕微的不適。

唇語同步機器人

為了制造具有人類面部并能像我們一樣說話的機器人，機器人的嘴唇必須與其語音音頻仔細同步。哥倫比亞研究團隊開發了一種技術，通過專注于語言聲音的方式來幫助機器人嘴部像我們一樣移動。

首先，團隊構建了一個仿人機器人面部，具有能夠以減少恐怖谷效應的方式說話和唱歌的嘴部。這個由硅膠皮膚制成的機器人面部具有用于復雜嘴唇動作的磁性連接器。這使得面部能夠形成覆蓋24個輔音和16個元音的嘴唇形狀。

為了匹配嘴唇動作與語音，他們設計了一個"學習管道"來收集嘴唇動作的視覺數據。AI模型使用這些數據進行訓練，然后為電機命令生成參考點。接下來，"面部動作Transformer"將電機命令轉換為與音頻同步的嘴部動作。

使用這個框架，這個名為Emo的機器人面部能夠用多種語言"說話"，包括訓練中未包含的語言，如法語、中文和阿拉伯語。訣竅在于該框架分析語言的聲音，而不是聲音背后的含義。

"我們通過訓練一個直接從音頻到嘴唇動作的模型來避免特定語言的問題，"利普森說。"沒有語言概念。"

為什么機器人需要面部和嘴唇

人類與機器人合作已經很長時間了，但它們一直看起來像機器，而不是人——裝配線上無實體的、看起來非常機械的手臂，或者在我們廚房地板上四處移動的厚重圓盤形掃地機器人。

然而，隨著聊天機器人背后的AI大語言模型變得更加普及，科技公司正在努力教機器人如何實時使用語言與我們交流。

有一個完整的研究領域叫做人機交互，研究機器人應該如何在物理和社會層面與人類共存。2024年，柏林的一項使用157名參與者的研究發現，機器人通過語言交流表達同理心和情感的能力對于與人類有效互動至關重要。另一項2024年來自意大利的研究發現，在處理裝配等復雜任務時，主動語音對人機協作很重要。

如果我們要在家庭和工作中依賴機器人，我們需要能夠像彼此交談一樣與它們對話。利普森說，在未來，唇語同步機器人的研究對于任何需要與人互動的仿人機器人都會很有用。

也很容易想象一個仿人機器人與我們完全相同的未來。利普森說，仔細的設計可以確保人們理解他們在與機器人而不是人類交談。一個例子是要求仿人機器人擁有藍色皮膚，利普森說，"這樣它們就不會被誤認為是人類。"

Q&A

Q1：什么是恐怖谷效應？為什么機器人會產生這種效應？

A：恐怖谷效應是指當你看到某個東西表現得像人類但實際上不是人類時產生的令人不安的感覺。機器人產生這種效應的主要原因是它們說話時不像人類那樣移動嘴唇，導致人們感到不適。

Q2：哥倫比亞大學的Emo機器人是如何實現唇語同步的？

A：Emo機器人使用硅膠皮膚和磁性連接器實現復雜嘴唇動作，能形成24個輔音和16個元音的嘴唇形狀。通過"學習管道"收集視覺數據，AI模型訓練后生成電機命令參考點，再由"面部動作Transformer"將命令轉換為與音頻同步的嘴部動作。

Q3：為什么仿人機器人需要具備自然的語言交流能力？

A：隨著AI大語言模型普及，機器人需要實時語言交流能力。研究表明，機器人通過語言表達同理心和情感對有效人機互動至關重要，主動語音在復雜任務協作中也很重要。如果要在家庭和工作中依賴機器人，就需要像人與人之間那樣自然對話。