真实感运动数据驱动的数字人物角色生成技术取得新进展

近日，在游戏开发者大会（Game Developers Conference ，GDC）上，虚幻引擎（Unreal Engine）开发商史诗游戏（Epic Games）公司公布了其最新数字人物技术，并演示、呈现了还原度极高的最终渲染效果。

为了创建这个互动的演示，演员亚历克萨·李（Alexa Lee）穿戴头戴式面部捕捉支架和全身动作捕捉服，捕捉数据合成后显示在一块屏幕上，同时作为输入数据被用于驱动以中国演员姜冰洁形象为原型的塞壬（Siren）角色，最终结果在另一块屏幕以60fps实时输出。

史诗游戏公司的数字人物演示始于“地狱之刃”演示。该演示在2016年SIGGRAPH实时演示项目（RealTime Live）中夺奖，而《地狱之刃》游戏在发行之后获得了英国电影学院奖游戏奖（BAFTA Games）9项提名。

史诗游戏在SIGGRAPH 2017上展示了“数字麦克”，重现了著名电影特效行业专家和自媒体人、特效指导（FXGuide）创始人麦克·西莫（Mike Seymour）。

在“地狱之刃”和“数字麦克”演示中，数字人物采用演员动作驱动演员本人模型的方式进行表现，而在“塞壬”演示中，现场演员的表演被赋予一个不同的数字角色，因此原则上任何互动参与者均可驱动塞壬角色，这为该技术的未来应用拓宽了道路。

“塞壬”最初是史诗游戏和腾讯公司的合作项目，目标是概念上示范和证明第四代虚幻引擎（Unreal Engine 4，UE4）的能力，并揭示下一代数字角色形象。

该项目采用了Cubic Motion公司面部表情捕捉技术、3Lateral公司面部操控技术、Vicon公司人体动作捕捉技术，演示结果具备逼真的面部细节和眼部运动，能够反映人类情感，并具备与参与者交互的能力，展现了几家公司在虚拟制作技术领域的全部实力。

史诗游戏和腾讯采用了Vicon Vantage光学动作捕捉系统、Atomos Shogun记录仪和VUE视频相机来进行演员身体和手指动作的精确和真实捕捉，采集数据随后被导入连接了Vicon新Live Link接口的虚幻引擎中，实时为基准角色脚本添加动画。

为了保证最高的保真度，Vicon将身体动作直接赋予模型绑定骨骼，去除了复杂的定位步骤，并开发了新算法来实现手指动作的真实化。

演员的面部捕捉则使用了新款Cubic Motion定制的Techno-props头戴式设备，进行面部无标记点追踪。新支架将原先面部前方的双镜头立体摄像头移去，取而代之的是一个侧面摄像头和一个正面摄像头的布局。

面部捕获的双路计算机视觉数据将被转换成三维FACS（Facial ActionCoding System，面部动作编码系统）AU（Action Unit，动作单元）数据，以驱动3Lateral模型。

这一方式唇同步能较之前更为准确，同时即使在高度实时面部捕捉环境的挑战下，也可在15毫秒内实现动画效果、与身体合成并完成渲染。

角色的面部以60fps实时渲染，极大地利用了UE4的细微面部毛发着色器和新型高级皮肤着色器，并应用了腾讯和史诗游戏工程师引入的背向反射算法（Backscatter Algorithms）和双层高光（Dual Specular Lobes），使最终结果拥有了更强的现实感和令人震惊的视觉效果。

作为史诗游戏数字人物相关项目的主要合作伙伴，Cubic Motion在GDC上宣布将开放技术平台授权，便于更多内容制作和游戏开发者接触和使用该技术。

Cubic Motion的计算机视觉技术可实现90fps表情捕捉，并实时自动将数据映射为超高质量的数字角色。该技术若用于CG电影和电视作品的拍摄制作，可实现数字面部动画创作“所见即所得”，节省人工完成数字动画的时间和花费；用于游戏则可实现“直播”方式（游戏角色面部被动作捕捉演员或普通用户驱动）。