當前位置: 華文世界 > 科技

機器人Emo提前0.9秒預測人類微笑,與人同時表達

2024-04-03科技
02:13
·Emo的眼睛裏裝有網絡攝影機,藍色柔性矽膠皮膚下有26個電機,類似於人類面部的肌肉,為機器人做出表情提供動力。它可以在人類微笑前839毫秒預測即將到來的微笑,並與人類同時表達微笑。Emo還可以預測悲傷、憤怒和驚訝等表情。
02:13
Emo可預測人的面部表情並試圖復制。(02:12)
大模型讓機器人的語言交流快速發展,但非語言交流卻沒有跟上。現在,哥倫比亞大學的研究人員開發了一款機器人,可觀察人的面部表情,透過人臉的微小變化提前0.9秒預測人的微笑表情,並報以微笑。相關研究3月27日發表在【科學機器人】(Science Robotics)上。
人工智能可以模仿人類語言,但機器人還無法復制復雜的非語言線索和對交流至關重要的言談舉止。人形機器人可以依靠聲音來交流,但透過臉部活動來表達面臨雙重挑戰,一方面,驅動一個表情靈活豐富的機器人面孔在物理上具有挑戰性,另一方面,要知道生成什麽樣的表情,使機器人看起來真實、自然、及時。
Emo使用人工智能模型和高分辨率相機預測人的面部表情並試圖復制。
哥倫比亞大學研究人員提出可以透過訓練機器人預測未來的面部表情並與人類同時執行這些表情來減輕這兩個障礙。哥倫比亞大學機械工程系創新機器實驗室教授霍德·利普森(Hod Lipson)團隊開發了名為Emo的機器人,它使用人工智能模型和高分辨率相機預測人的面部表情並試圖復制。
研究人員表示,該機器人可以在人類微笑前839毫秒預測即將到來的微笑,並透過模型與人類同時表達微笑。論文第一作者、哥倫比亞大學創新機器實驗室博士Yuhang Hu介紹,例如在微笑完全形成之前,有一小段時間嘴角會開始上揚,眼睛會開始微微皺起。Emo可以捕捉到人們臉上的這些微小變化來預測面部表情。研究人員使用一個包含26個自由度的機器人面部來展示這種能力。
機器人包含26個電機並使用位置控制。3個電機控制頸部在三個軸上的運動。12個電機控制上臉,包括眼球、眼瞼和眉毛。11個電機控制嘴部和下顎。
Emo的眼睛裏裝有網絡攝影機,藍色柔性矽膠皮膚下有26個電機,類似於人類面部的肌肉,它們為機器人的面部表情提供動力。其中,3個電機控制頸部在三個軸上的運動。12個電機控制上臉,包括眼球、眼瞼和眉毛。11個電機控制嘴部和下顎。該機器人使用兩個神經網絡,一個用來觀察人臉並預測表情,另一個研究如何在機器人臉上產生表情。第一個神經網絡透過影片網站上的影片進行訓練,第二個神經網絡讓機器人透過即時攝影機觀看自己做的表情來訓練。
「當它拉扯所有這些肌肉時,它知道它的臉會是什麽樣子。」利普森說,「這有點像一個人對著鏡子,即使閉上眼睛微笑,也知道自己的臉會是什麽樣的。」
研究人員希望這項技術能讓人機互動更逼真。他們認為,機器人必須先學會預測和模仿人類的表情,然後才能發展到更自發、更自我驅動的表達性交流。
除了微笑,Emo還可以預測悲傷、憤怒和驚訝等表情。但Emo還不能做出人類的所有表情,因為它只有26塊面部「肌肉」。未來,研究人員還需要拓寬機器人的表情範圍,他們也希望訓練機器人對人所說的話做出反應,而不是簡單模仿另一個人。此外,研究人員正利用大模型將語言交流整合到Emo中,讓Emo能夠回答問題和對話。
澎湃新聞記者 張靜
(本文來自澎湃新聞,更多原創資訊請下載「澎湃新聞」APP)