让你的声音动起来，人声驱动合成逼真的视频人像

标题：Photorealistic Audio-driven Video Portraits

作者：Xin Wen, Miao Wang, Christian Richardt, Ze-Yin Chen, Shi-Min Hu

来源：Transactions on Visualization and Computer Graphics, 2020.

主页：https://richardt.name/publications/audio-dvp

编译：realcat

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权，后台回复[dvp]，获取本文链接。

视频人像在各种应用中都很常见，如视频会议、新闻广播、虚拟教育和培训等。本文提出了一种新的方法，由人的声音自动驱动，给输入的人像视频合成逼真的视频人像。这项任务的主要挑战是如何从输入的语音音频中幻化出可信的、逼真的面部表情。为了解决这个挑战，本文采用了一个由几何形状、面部表情、光照等表示的参数化三维人脸模型，并学习从音频特征到模型参数的映射。

效果直接看视频：

首先将输入源音频表示为一个高维特征，用来预测3D人脸模型的面部表情参数。然后，将从原始目标视频中计算出的表情参数替换为预测参数，并重新演绎人脸。最后，通过神经人脸渲染器从重演的合成人脸序列中生成一个逼真的视频人像。本文方法的一个吸引人的特点是对各种输入语音音频的泛化能力，包括来自文本到语音软件的合成语音音频。大量的实验结果表明，本文的方法优于之前的通用音频驱动的视频人像方法。

目前算法已经开源，链接如下：

Github：github.com/xinwen-cs/AudioDVP