欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
当前人脸图像领域的研究和落地都发展得非常迅速,这几年里人脸领域中最令人振奋的莫过于人脸属性的编辑,实现了换脸、表情生成、年龄仿真等酷炫的应用,其中基于StyleGAN的人脸属性编辑是最经典的方法,本次我们来给大家介绍相关经典的研究。
作者&编辑 | 言有三
1 StyleGAN系列
首先我们当然要掌握好StyleGAN系列模型,这是当前图像生成GAN领域里最强大的模型,目前StyleGAN模型共有StyleGAN v1,StyleGAN v2,StyleGAN v3共3个。
文章引用量:8000+
推荐指数:✦✦✦✦✦
[1] Karras T, Laine S, Aila T. A style-based generator architecture for generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 4401-4410.
[2] Karras T, Laine S, Aittala M, et al. Analyzing and improving the image quality of stylegan[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 8110-8119.
[3] Karras T, Aittala M, Laine S, et al. Alias-free generative adversarial networks[J]. Advances in Neural Information Processing Systems, 2021, 34: 852-863.
2 Image2StyleGAN系列
Image2StyleGAN系列是一个非常典型的基于StyleGAN潜在空间的人脸编辑框架,实现了多人脸的属性编辑,包括风格迁移,样式插值,表情添加。
文章引用量:700+
推荐指数:✦✦✦✦✦
[4] Abdal R , Qin Y , Wonka P . Image2StyleGAN: How to Embed Images Into the StyleGAN Latent Space?[J]. IEEE, 2019.
[5] Abdal R, Qin Y, Wonka P. Image2stylegan++: How to edit the embedded images?[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 8296-8305.
3 InterFaceGAN
InterFaceGAN是一个更加通用的基于StyleGAN潜在空间的人脸编辑框架,通过方向向量的求解,可以非常平滑地实现对人脸常见属性的编辑,包括年龄、微笑表情、性别、姿态、妆造等常见属性。
文章引用量:500+
推荐指数:✦✦✦✦✦
[6] Shen Y, Gu J, Tang X, et al. Interpreting the latent space of gans for semantic face editing[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 9243-9252.
4 GANSpace和SeFa
Image2StyleGAN系列和InterFaceGAN是有监督的框架,需要额外的属性模型来学习潜在空间中的人脸属性方向向量,对于一些不好进行分类的属性效果不好,而GANSpace和SeFa都是基于在潜在空间中进行PCA降维,自动寻找属性方向向量的无监督框架,可以更自由地编辑一些属性,如发型姿态等。
文章引用量:500+
推荐指数:✦✦✦✦✦
[7] Härkönen E, Hertzmann A, Lehtinen J, et al. Ganspace: Discovering interpretable gan controls[J]. Advances in Neural Information Processing Systems, 2020, 33: 9841-9850.
[8] Shen Y, Zhou B. Closed-form factorization of latent semantics in gans[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 1532-1540.
6 如何进行实战
为了帮助大家掌握基于StyleGAN的人脸属性编辑算法理论与实战!我们推出了相关的项目实战课程《基于Pytorch的StyleGAN人脸属性(表情、年龄、性别)编辑实战》,感兴趣可以进一步阅读:
【视频课】StyleGAN人脸生成与年龄表情编辑:原理与实践
总结
本次我们介绍了当前最经典的基于StyleGAN进行人脸属性编辑的一些方法,它们也可以被迁移到其他图像编辑领域,对于从事GAN和图像编辑领域的朋友,值得进行掌握。