最近Epic Games发布了一个叫Live Link Face的APP,主要是用于将面部动画数据从通过iPhone的TrueDepth相机,捕获镜头前表情然后流化为虚幻引擎中的角色表情。除了面部表情外,它还可以捕获头部和颈部的旋转数据,并具有一系列专业制作功能,包括TentacleSync集成和对Open Sound Control的支持。
面向单体动画师和大型虚拟制作用户群体
Live Link Face并不是我们看到的第一个利用iphone的深度感应功能捕捉面部动画数据的工具,比如Rokoko和Maxon都发布了自己的免费应用程序。
然而,这个可能是功能最全面的,其功能既针对在线流媒体,也针对希望捕捉面部参考数据的个人动画制作者,也针对大型虚拟制作。
流媒体面部动画直接从iPhone到虚幻引擎
Live Link Face将面部动画数据从实时演员流到UE中的3D角色,用于实时性能或捕获可手动优化的参考数据。
数据可以通过无线网络传输,也可以通过以太网将iPhone连接到工作站;3D虚拟形象可以覆盖在手机上的视频显示器上,进行预览。
与其他此类应用程序一样,它基于苹果公司的ARKit增强现实框架,因此3D角色需要ARKit文档指定的标准面部混合形状集。
根据Epic的说法,这款应用程序可以“在表演者坐在办公桌前而不是戴着mocap的头戴式装备时进行自然调整”,同时还可以传输头颈旋转数据。
除了直接将动画流到Unreal Engine的Take Recorder,应用程序还以MOV格式捕获演员的参考视频片段,以及CSV格式的原始面部动画数据。用户可以在应用程序中直接浏览捕获的视频库并回放参考视频。
支持TentacleSync和OSC,保证制作过程中与其他Mocap硬件精确同步
Live Link Face还支持在专业运动捕捉会议和协作虚拟制作中使用的一系列关键技术。
除了提供“可靠的时间码支持和精确的帧精度”之外,还支持TentacleSync,从而使其可以在捕获阶段连接到主时钟。
那应该确保通过Live Link Face记录的面部动画数据与表演者的惯性捕捉服或光学防暴系统记录的全身数据精确同步。
此外,还支持开放声音控制(OSC)协议,其他软件可以远程控制这个程序,例如同时在多个演员的iPhone上开始或停止录制。
除动画数据外,应用程序还可以捕获制作元数据,如板岩名称和编号。
系统要求和收费
iOS 13.0及以上版本免费提供Live Link Face。为了使用它,你需要一个带有TrueDepth摄像头的iPhone:也就是说,一个iPhoneX或更高版本。所以,软件虽然免费,但首先得有个iPhone。
领取专属 10元无门槛券
私享最新 技术干货