腾讯的换脸技术通过人工智能提取图像特征进行编码,在对图像进行解码还原成新的图像,进行图像的人脸更换技术。
文|嘉德IPR
校对|holly
图源|网络
【嘉德点评】腾讯的换脸技术通过人工智能提取图像特征进行编码,在对图像进行解码还原成新的图像,进行图像的人脸更换技术。
集微网消息,朋友圈中出现了大量的AI换脸小视频。这些小视频大多来自众多影视剧或者电影作品,用户则可以把自己的脸通过人工智能的识别换到影视明星的身上。我们也了解到,这一AI换脸工具是一款名为“ZAO-逢脸造戏”APP,软件的slogan为“仅需一张照片,出演天下好戏”。
事实上,“ZAO-逢脸造戏”此次采用的并非新技术,而是在海外早已开源的AI换脸技术。2017年的时候,AI换脸技术最早出现在海外知名论坛Reddit上,一位ID名为“deepfakes”将众多逼真的换脸视频上传到网上。
在电影特效和互联网社交等应用中,存在保持原始图像(例如图片或者视频帧)中人物的脸部(也称为待替换脸部)的风格的情况下,将待替换脸部替换为其他人物的脸部(也称为目标脸部)的需求。为此,人工智能技术提供了训练适当的图像处理模型来支持上述应用的方案。
今天带来的就是腾讯的一项相关专利,而从这项专利中,我们也可以窥见些许该技术的实现原理以及方法。就在今年19年3月25日,腾讯申请了一项名为“图像处理模型的训练方法、图像处理方法、装置及存储介质”的发明专利(申请号:201910228962.5),申请人为腾讯科技(深圳)有限公司。
根据目前公开的专利资料,让我们一起来看看这项人脸替换方法吧。
如上图所示为图像处理模型进行换脸的原理示意图。其中包括人脸定位和人脸转换两大步骤,即可将原始图像中的人脸替换成为特定的人脸图像。
原始图像,也称为原始脸部图像包括待替换脸部的图像,例如图片或者视频的帧图像。目标图像,也称为目标脸部图像包括用于替换“ 待替换脸部”的图像,例如图片或者视频中的帧图像。
其中有两个很重要的关建点,就是编码器和解码器。编码器,用于从原始图像中待替换脸部进行特征降维(即降低特征的维度,也称为编码或特征提取)的模型,输出用于表示待替换脸部的风格的特征。解码器,与目标脸部一一对应的模型,用于从输入到解码器的风格特征还原(也称为解码或重构)具有相应风格特征的目标脸部的图像。
当编码器和解码器被训练完成后,编码器从原始图像的待替换人脸中提取风格特征(也就是对待替换人脸进行编码),风格特征被输入解码器进行解码,这个解码的过程是一种人脸转换,形成新的换脸图像中包括目标人脸的五官和待替换人脸的风格,例如表情及神态。
以上就是对于换脸技术的原理性说明,下面我们再根据使用场景来介绍。
如上图为图像处理模型的训练方法和应用方法的使用场景示意图。这里的图像处理模型的训练装置可以是服务器,图像处理装置可以是运行各种客户端的终端,两者通过网络连接,使用无线链路实现数据传输。
图像处理装置提交针对不同目标脸部的训练任务,由训练装置训练相应的图像处理模型,并下发图像处理模型的参数到训练装置。训练装置根据提交的训练任务进行训练,再将数据传递回图像处理装置,生成图像处理模型,从而完成模块的人脸替换。
以上就是人脸替换的方法原理,借助人工智能技术,竟然可以完成这么酷炫的事情。但是,隐私问题不可小觑,好玩与可怕只在一线之间,尽管这次的“ZAO-逢脸造戏”对于换脸的素材进行了各种限制,但是如果过这种技术真正想要高度商业化的话,那么隐私问题是一件没法绕开的事情。我们也希望人们能够重视这方面的问题,让技术合法化,正真做到对人们的生活有所帮助,而不是被不法分子加以利用!
END
领取专属 10元无门槛券
私享最新 技术干货