如何制作数字人、虚拟偶像等虚拟角色，并实现与观众实时互动功能？

提到虚拟偶像，我们闹钟往往会浮现起多年前的一首洗脑神曲——《甩葱歌》。没错这首当年被誉为洗脑神曲的音乐作品最初就是由来自日本的虚拟偶像“初音”所演唱的。当然由于为了更加符合未来歌姬这一主题“初音”的声音并不是由声优直接配音完成的，而是由声优藤田咲录音后经电脑加工而成。当然在本文中我们并不会像大家详述关于虚拟偶像声音制作相关内容，相反我们将为大家介绍如“初音”这样的现象级虚拟偶像是如何从无到有制作出来的。

初音演唱会

谈到虚拟偶像就不能不提到3D建模，因为如果没有模型一切都是空谈。那么现在我们就来谈谈3D建模软件的选择。

关于3D建模软件我们相信大家最为熟悉的莫过于3ds Max，由于其强大的建模渲染能力，3ds Max被广泛应用于传统CAD（Computer Assistant Design）绘图、3D角色建模、渲染、以及动画角色制作等领域之中。当然除3ds Max之外还有很多3D建模软件可供选择，如，ZBrush、Blender、Maya等都能实现将设计师脑中所想设计赋予实现的高精度建模任务。

Blender 3D角色建模

如何使用这些3D建模软件需要进行专业的学习，当然如果你能请到一位精通3D建模的建模师那将会为创建虚拟偶像开通“快速车道”。

想要成为虚拟偶像光是颜值“能打”并不足以在当前的网络中立足。能唱会跳已经成为当今虚拟偶像的一项重要标签。早期的虚拟偶像想要实现唱跳动作首先需要制作团队将已经创建出的3D模型在动画制作软件中绑定骨骼并一帧一帧的手扣动画动作。这就有些像传统动画制作那样需要大量的时间对3D模型的动作进行摆放以及修正。到了虚拟偶像发展中期，人们开始使用现成的动作为虚拟角色的3D模型进行绑定，这让虚拟角色的舞蹈动作变得更加专业，同时也省去了大量进行动画制作所需的时间，但这一变化是一面双刃剑，一方面虚拟角色会因动作的定制化而略显单调，另一方面定制化的动作将使动画制作更加快速。而如今随着技术的不断发展动作捕捉技术开始从影视制作流向虚拟偶像制作之中，这使得现在的虚拟偶像能够不在拘泥于特定动作，从而真正实现与观众真实互动等功能。当然随着AI技术的兴起我们相信在未来具有独立思考能力的虚拟偶像的出现也绝对不再将是科幻片中出现的片段。

《银翼杀手2049》中的未来AI数字人

现在我们回到当下来谈谈如何让已经完成3D建模制作的虚拟偶像“动起来”。

动作捕捉技术是一种早期应用于好莱坞特效制作中的先进技术。通过将人体动作进行捕捉并通过绑定骨骼，动作捕捉技术能够轻松实现将逼真的真实人体动作在3D模型中再现。这种技术的应用让如《人猿星球》、《阿凡达》、《金刚》中的虚拟角色更加拟人化，从而进一步提升角色的代入感和与观众的情感共鸣。

虚拟主播 Vtuber CodeMiko

随着技术的不断进步，如今动作捕捉技术已经得到了“下放”，这也使得一些独立动画制作工作室也能使用该系统进一步简化动画制作流程。在虚拟偶像制作流程中，通过将穿戴动捕设备的动捕演员与3D模型进行骨骼绑定，能够快速同步动捕演员与3D角色所作的一切动作。而且现在市场上主流的动作捕捉系统如，Xsens、Optitrack等都能够实现动作数据的实时传输，这也使得虚拟偶像与观众的实时互动成为现实。

关于虚拟偶像的声音一般有两种解决方案可供选择。一种是录制声音后将声音进行处理，再由动作演员对口型实现表演。这种表演方式的优点显而易见，在大型演唱会或节目录制中预先录制的声音文件将不会出现任何差错，这将大大提升表演的稳定性。但同时缺点也同样显而易见，预先录制的声音不会不存在任何与现场观众的交互功能因此如果虚拟偶像需要在表演中与观众进行互动这种方案就非常不合理。当然也可以采用在演唱时使用录制声音在互动时切换真人声音的形式，但这很容易造成观众的落差感。

而另一种则偏向于真实表演，即动捕演员具有歌唱功底并能够在唱跳时实时输出声音，这种方案对于动捕演员的要求较高，但相较于真实偶像而言毕竟不用真人出镜因此对于演员“颜值”要求就相对没有那么高了。

由UE5 MetaHuman创建的数字人角色

以上是我们对于虚拟偶像制作的一些介绍与见解，当然现在还有一种更为真实的虚拟偶像制作方式，其实这种方式我们更加偏向于称之为数字人制作。通过使用虚幻引擎的MetaHuman工具可以像游戏角色“捏脸”一样快速创建出具有逼真表现力且更加接近真实人类的数字人3D模型，同理通过动捕技术将动作数据与MetaHuman的骨骼进行绑定能够实现更加真实的数字人虚拟偶像制作。

当然如果需要数字人虚拟偶像能够具备真实动作的同时拥有逼真的面部表情那还需要一套面部动捕设备来支持，在这里我们将需要用到目前市场主流的面部动捕设备与软件FaceWare。如身体动捕一样，FaceWare能够通过位于面部正前方的摄像头捕捉人脸的每一块肌肉动作，这使得细微的面部表情在数字人形象中得以再现。

与真人偶像相比虚拟偶像具有容颜不老、不会出现不良绯闻、不会违反法律法规导致封杀等先天优势，因此我们相信在未来，虚拟偶像将会成为一种更加主流的表演形式。