近日,通义App推出了一项名为“角色扮演”的新功能,该功能允许用户上传一段视频后,在App内实现现实与虚拟世界的跨界互动,完成角色的华丽变身。
据称,这项功能已吸引了众多用户的兴趣,甚至有员工在工作时间也沉浸其中。
要使用“角色扮演”功能,用户仅需准备一部智能手机、安装通义App,并录制一段不超过15秒的视频。
具体的操作流程为:打开通义App后,选择“巴黎2024”项目下的“角色扮演”模块,随后就可以开始创作自己的变身视频了。
“角色扮演”功能背后的技术支撑是通义实验室研发的人工智能模型——Motionshop。
该模型通过视频处理、角色跟踪与分割、姿态估计、光照估计等技术手段,实现了动态视频中主角从现实到虚拟世界的转换。
以下是Motionshop实现这一过程的具体技术细节:
| 角色跟踪和分割
通过对视频中的角色进行检测,并进行像素级的跟踪和分割,同时补全分割后的区域,确保转换过程中背景的一致性。
| 姿态估计和3D映射
应用高精度的姿态估计方法来捕捉角色的动作和表情,并将其映射到三维模型上,使新的3D模型可以模拟原始角色的动作和表情。
| 光照估计
为了保持新模型与原始视频中的光照效果一致,系统会对视频中的光照情况进行精细估计。
| 3D渲染
利用TIDE渲染引擎,Motionshop能够高效地将3D模型渲染成逼真的图像序列,并根据估计的场景光照条件,实现视觉上的无缝融合。
目前,“角色扮演”功能已正式上线,并且完全免费供用户体验。
通义App还计划在近期增加用户自定义角色创建的功能,让用户体验更加丰富多样。
体验方式:通义【APP】
领取专属 10元无门槛券
私享最新 技术干货