当年轻的马斯克换上女装,是这个亚子。
好清秀的姑娘啊~
而若加上胡子,就瞬间变成另一种“风味”。
还可以看看马斯克过几年秃头的样子。(手动狗头)
害,马斯克还是马斯克,还是那个“地球新首富”。
实现这些的,是一种基于StyleGAN2的新技术——StyleFlow,根据指定条件,就可以生成人脸。
除了上面这些换女装、变秃、画胡子等功能,还集成了换姿势、调整光照、改变表情等效果,甚至还可以用在车上。
我们知道,由于GAN潜伏空间内部的相互作用,通常对一个属性条件进行编辑的时候会很容易导致其他属性不必要的而变化。本文正是基于这个背景下,提出了StyleFlow。
具体来说,探讨了两个方面的问题:属性条件取样和属性控制编辑。
第一,属性条件取样。对具有特定属性的高质量真实图像进行取样;
第二,属性控制编辑。对给定的图像进行编辑,使编辑后的图像具有目标属性,同时最好地保留源图像的特性。
StyleFlow所推断的路径是以输入图像为条件,因此可以适应各个人脸的独特性。
首先从源图像开始使用反向推理,通过CNF块的序列进行正向推理来支持属性条件编辑。
图中,z表示先验分布的变量,w表示StyleGAN的中间权重向量。
还要注意的是,逆向推理和正向推理是由一个ODE求解器来实现的,它来评估时间变量上的CNF函数。
其中,属性向量at为条件学习函数是关键,既可以正向推理,也可用于反向推理。
随后,使用StyleFlow的属性条件采样,通过重新采样Z0 定义他们的属性。
最终,研究人员使用StyleGAN的人脸和汽车潜伏空间对我们的方法进行了评估,并在真实照片和StyleGAN生成的图像上展示了沿各种属性的细粒度的分离编辑。
例如,对于人脸,改变了相机姿势、照明变化、表情、面部头发、性别和年龄。
还可以一对多的批量化操作。
最后通过大量的定性和定量比较,以及与已有的技术相比,研究人员证明了StyleFlow的优越性。
这项技术由阿卜杜拉国王科技大学(KAUST)、Adobe共同研发,第一作者是来自KAUST的Rameen Abdal。
研发团队中还有一位华人面孔——朱培豪。
他本科毕业于东北大学自动化专业,随后前往中国科学院大学学习计算机科学。
硕士毕业后,来到阿卜杜拉国王科技大学计算视觉中心攻读博士。
最后,分享一下这项技术的“造车”的效果~
改变一下颜色。
旋转任意角度。
普通车秒变SUV~
虽然这些Demo里没有特斯拉的效果,但还是要问一句:
So,马斯克感兴趣吗?(手动狗头)
GitHub: https://github.com/RameenAbdal/StyleFlow 演示视频: https://www.youtube.com/watch?v=LRAUJUn3EqQ&feature=youtu.be 论文地址: https://arxiv.org/pdf/2008.02401.pdf 项目地址: https://rameenabdal.github.io/StyleFlow/
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
领取专属 10元无门槛券
私享最新 技术干货