【CVPR 2023的AIGC应用汇总(7)】face相关（换脸/编辑/恢复） diffusion扩散/GAN生成对抗网络方法
【CVPR 2023的AIGC应用汇总(7)】face相关（换脸/编辑/恢复） diffusion扩散/GAN生成对抗网络方法
【CVPR 2023的AIGC应用汇总(6)】医学图像diffusion扩散/GAN生成对抗网络
【CVPR 2023的AIGC应用汇总(5)】语义布局可控生成，基于diffusion扩散/GAN生成对抗
【CVPR 2023的AIGC应用汇总(4)】图像恢复，基于GAN生成对抗/diffusion扩散模型
【CVPR 2023的AIGC应用汇总（3）】GAN改进/可控生成的方法10篇
【CVPR 2023的AIGC应用汇总(2)】可控文生图，基于diffusion扩散模型/GAN生成对抗
【CVPR 2023的AIGC应用汇总(1)】图像转换/翻译，基于GAN生成对抗/diffusion扩散模型
1、A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images
受到3DMM低维表示能力的限制，大多数基于3DMM的面部重建（ face reconstruction，FR）方法无法恢复高频面部细节，如皱纹、酒窝等。有人尝试通过引入细节图或非线性操作来解决这个问题，然而，结果仍不是很生动。
为此，本文提出一种新的分层表示网络（hierarchical representation network，HRN），以实现从单幅图像中进行精确和详细的面部重建。具体来说，实现了几何解耦，引入分层表示来实现详细的面部建模。同时，引入3D面部细节的先验知识，以提高重建结果的准确性和真实性。
还提出了一个去修饰模块，以实现几何和外观的更好解耦。值得注意的是，通过考虑不同视角的细节一致性，可以扩展到多视角方式。两个单视角和两个多视角FR基准上的大量实验表明，方法在重建精度和视觉效果方面优于现有方法。
最后，引入了一个高质量的3D人脸数据集FaceHD-100，以推动高保真面部重建的研究。项目主页地址为https://younglbw.github.io/HRN-homepage/
2、DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration
盲面部修复（Blind face restoration）通常使用预定义的退化模型将退化的低质量数据为训练数据，而在现实世界中可能发生更复杂的情况。和实际退化之间的差距，对修复性能造成影响，输出结果中常常观察到伪影。然而，在训练数据中包含所有类型的退化，想足以覆盖现实世界的情况，是昂贵的且不可行的。
为了解决这个鲁棒性问题，提出了基于扩散的鲁棒退化去除器（Diffusion-based Robust Degradation Remover，DR2），首先将退化图像转换为粗糙但不受退化影响的预测，然后采用增强模块将粗糙预测恢复为高质量图像。通过利用性能优越的去噪扩散概率模型，DR2将输入图像扩散到嘈杂状态，各种类型的退化让位于高斯噪声，然后通过迭代去噪步骤捕获语义信息。因此，DR2对常见退化（如模糊、调整大小、噪声和压缩）具有鲁棒性，并且与不同设计的增强模块相兼容。
各种设定下的实验表明，在严重退化的合成和现实世界数据集上优于当前最优秀的方法。
3、DiffusionRig: Learning Personalized Priors for Facial Appearance Editing
解决从少量同一个人的肖像照片（例如，20 张]）中学习个人特定面部先验的问题。这使我们能够编辑这个特定人的面部表情，如表情和光照，同时保留他们的身份和高频面部细节。
提出DiffusionRig，基于扩散模型，由自然场景下的单图像中估计的粗糙的 3D 人脸模型条件。在高层次上，DiffusionRig 学会将简单的 3D 人脸模型渲染为给定人物的真实照片。具体来说，DiffusionRig 分两阶段进行训练：首先从大规模脸部数据集中学习通用的面部先验，然后从感兴趣的人物的一小部分肖像照片集中学习个人特定的先验。通过学习这种个性化的先验中的 CGI-to-photo 映射，仅仅在粗糙的 3D 模型条件下，DiffusionRig 可以“操纵”肖像照片的光照、面部表情、头部姿势等，同时保留这个人的身份和其他高频特征。
定性和定量实验表明，DiffusionRig 在身份保护和照片写实方面均优于现有方法。详细的补充材料、视频、代码和数据网站：https://diffusionrig.github.io
4、Fine-Grained Face Swapping via Regional GAN Inversion
提出一种新的高保真换脸范式，能够保留期望的微妙几何和纹理细节。从微观面部编辑的角度重新思考换脸任务，基于“编辑用于互换（editing for swapping）”（E4S）的原则，提出了一种基于面部组件形状和纹理的显式解耦方法。
遵循E4S原则，实现面部特征的全局和局部互换，以及由用户指定的部分互换。此外，E4S范式通过面部遮罩固有地处理面部遮挡问题。核心是一种新的区域GAN逆映射（RGI）方法，它允许显式解耦形状和纹理，同时允许在StyleGAN的潜在空间中进行面部互换。具体来说，设计了一个多尺度遮罩引导编码器，将每个面部组件的纹理投影到区域样式码中。还设计了一个遮罩引导注入模块，用样式码操作特征映射。基于解耦，面部互换被重新制定为样式和遮罩互换的简化问题。
与现有技术的大量实验和比较表明，方法在保留纹理和形状细节方面以及处理高分辨率图像方面具有优越性。项目页面地址为https://e4s2022.github.io
5、SunStage: Portrait Reconstruction and Relighting using the Sun as a Light Stage
光照舞台使用一系列校准相机和灯光，以不同照明和视图下捕捉对象的面部外观。这些捕获的信息对于面部重建和重照至关重要。不幸的是，光照舞台往往无法获取：它们代价昂贵并且需要大量的技术专业知识来建造和操作。
本文提出SunStage：一种轻量级替代光照舞台的方法，仅使用智能手机相机和太阳捕捉可比较的数据。方法只需要用户在户外拍摄一段自拍视频，原地旋转，并使用太阳和脸之间的变化角度来指导面部几何建模，反射率、摄像机姿势和照明参数的联合重建。
尽管在野外未校准的环境中，方法能够重建详细的面部外观和几何形状，实现诸如重照、新视图合成和反射率编辑等引人注目的效果。
关注公众号【机器学习与AI生成创作】，更多精彩等你来读：
深入浅出stable diffusion：AI作画技术背后的潜在扩散模型论文解读
深入浅出ControlNet，一种可控生成的AIGC绘画生成算法！
最新最全100篇汇总！生成扩散模型Diffusion Models
腾讯云开发者
