机器人通过自学习实现逼真唇部同步

当人们面对面交谈时，近一半的注意力会集中在嘴唇的运动上。尽管如此，机器人仍然很难以一种令人信服的方式移动嘴巴。即使是最先进的人形机器，也常常依赖僵硬、夸张的嘴巴动作，看起来像木偶，前提是它们有脸的话。

人类极其重视面部表情，尤其是嘴唇的细微运动。虽然笨拙的行走或笨拙的手势可以被原谅，但面部动作上的微小失误往往立刻就会显得突兀。这种敏感性导致了科学家所谓的“恐怖谷”现象，即机器人显得令人不安而非栩栩如生。唇部运动不佳是机器人显得诡异或情感平淡的主要原因，但研究人员表示，这种情况可能很快就会改变。

一种学习动嘴唇的机器人

1月15日，哥伦比亚工程团队宣布在人形机器人领域取得重大进展。研究人员首次制造出一种能够学习说话和唱歌时面部唇部动作的机器人。他们的研究结果发表在《科学机器人学》上，显示该机器人能够用多种语言形成单词，甚至能演唱其AI生成的首张专辑《hello world_》中的歌曲。

该机器人并非依赖预设规则，而是通过观察学习。它首先通过使用26个独立的面部马达来发现如何控制自己的面部。为此，它观察了自己在镜子中的反射，随后又研究了在YouTube上长达数小时的人类说话和唱歌视频，以了解人们如何移动嘴唇。

“它与人类互动越多，就会变得越好，”领导这项研究的机械工程系创新教授、哥伦比亚创意机器实验室主任霍德·利普森说。

机器人观看自己说话

在机器人中创建自然逼真的唇部动作特别困难，主要有两个原因。首先，它需要先进的硬件，包括柔软的面部材料和许多必须安静、完美协调运行的小型马达。其次，唇部动作与语音密切相关，语音变化迅速且依赖于复杂的音素序列。

人脸由位于柔软皮肤下的数十块肌肉控制，使得动作能够与言语自然流畅地结合。然而，大多数人形机器人面部僵硬，动作有限。它们的唇部运动通常由固定规则决定，这导致了机械、不自然的表达，让人感觉不适。

为了解决这些挑战，哥伦比亚团队设计了一个具有大量马达的柔性机器人面部，并让机器人自主学习面部控制。机器人被放置在镜子前，开始尝试数千种随机的面部表情。就像一个孩子探索自己的镜像一样，它逐渐学会了哪些马达运动会产生特定的面部形状。这个过程依赖于研究人员所称的“视觉-动作”语言模型（VLA）。

向人类言语和歌唱学习

在理解了自身面部如何工作后，机器人被展示人类说话和唱歌的视频。AI系统观察了嘴型如何随着不同声音变化，使其能够将音频输入直接与马达运动关联起来。通过这种自学和观察人类相结合的方式，机器人可以将声音转换为同步的唇部动作。

研究团队在多种语言、语音风格和音乐示例上测试了该系统。即使不理解音频的含义，机器人也能够根据听到的声音及时移动嘴唇。

研究人员承认结果并非完美无缺。“我们尤其对像‘B’这样的硬音以及涉及噘嘴的声音（如‘W’）感到困难。但这些能力很可能会随着时间和练习而提高，”利普森说。

从唇部同步到真正交流

研究人员强调，唇部同步只是一个更广泛目标的一部分。他们的目标是赋予机器人更丰富、更自然的方式与人类交流。

“当唇部同步能力与诸如ChatGPT或Gemini这样的对话式AI相结合时，其效果为机器人与人形成的联系增添了全新的深度，”领导这项博士研究的胡宇航说。“机器人观察人类交谈越多，就越能模仿我们能产生情感共鸣的细微面部姿态。”

“对话的上下文窗口越长，这些姿态就会越具有上下文敏感性，”胡补充道。

面部表情是缺失的一环

研究团队认为，通过面部表达情感是当前机器人技术中的一个主要空白。

“如今许多人形机器人的研究集中在腿部和手部动作上，用于行走和抓握等活动，”利普森说。“但对于任何涉及人机交互的机器人应用来说，面部情感同样重要。”

利普森和胡预计，随着人形机器人被引入娱乐、教育、医疗保健和老年护理领域，逼真的面部表情将变得越来越重要。一些经济学家估计，未来十年可能会生产超过十亿台人形机器人。

“不可能有所有这些机器人没有脸的未来。当它们最终有了脸时，就需要恰当地移动眼睛和嘴唇，否则它们将永远停留在恐怖的境地，”利普森说。

“我们人类天生如此，我们无法改变这一点。我们即将跨越恐怖谷，”胡补充道。

风险与负责任的发展

这项工作建立在利普森长期致力于帮助机器人通过学习面部行为（如微笑、眼神交流和言语）与人类建立更自然联系的基础上。他认为这些技能必须通过观察学习，而不是通过僵硬的指令编程获得。

“当机器人仅仅通过观察和倾听人类就学会微笑或说话时，会发生一些神奇的事情，”他说。“我是个见多识广的机器人专家，但当一个机器人自发地对我微笑时，我还是忍不住会回以微笑。”

胡强调，人脸仍然是最强大的交流工具之一，科学家们才刚刚开始理解它是如何工作的。

“具有这种能力的机器人显然将拥有更好的与人类连接的能力，因为我们交流的很大一部分涉及面部肢体语言，而整个这个渠道目前仍未开发，”胡说道。

研究人员也承认，制造能够与人类进行情感互动的机器会带来伦理方面的担忧。

“这将是一项强大的技术。我们必须缓慢而谨慎地前进，这样我们才能收获好处，同时将风险降至最低，”利普森说。