大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分图像生成的核心技术点。
作者&编辑 | 言有三
1 基本图像生成框架
一个基本的图像生成框架包括判别器和生成器,其中生成器输入噪声向量,判别器判别真实图像和生成的图像,DCGAN是其中典型的代表,也是新手入门必须掌握的第一个框架。
2 条件GAN
DCGAN固然是可以生成满足训练数据集中数据分布的图片,但是却没有办法进行精确的控制,比如生成具体的某一类数字,或者某一类笔画风格,因此我们需要条件可以控制的网络,这就是条件GAN,这也是新手必须掌握的内容,是后续很多GAN变种的基础。
3 级联GAN
早期以DCGAN为代表的GAN网络生成的图片分辨率太低,质量不够好,都不超过100×100,这是因为难以学习一次性生成高分辨率的样本,收敛过程容易不稳定。基于此,金字塔GAN(LAPGAN),Progressive GAN等级连结构被提出并广泛使用,它们参考图像领域里面的金字塔结构由粗到精一步一步生成图像,并学习残差而不是完整的图像。
4 多判别器与生成器
当面对复杂的图像生成问题时,单个判别器和生成器的能力显得就不够了,因为多个判别器和生成器的结构被研究者广泛研究。采用多个判别器的好处带来了类似于模型集成的优势,并且可以独立完成不同的任务,而多个生成器的设计则可以实现生成器的分工合作,以提高模式丰富性。
5 GAN与VAE的结合
GAN和VAE是两类最常见的生成模型,VAE的特点是可解释性更强,不过生成结果比较模糊。GAN的特点是生成结果更加逼真,但是容易陷入模式崩塌等问题。有许多研究致力于融合两者的性能,如ALI,它包含了编码器,解码器以及判别器。
6 其他
总的来说,图像生成有非常多的研究方向,包括:
(1) 条件GAN的各类变种。
(2) 与VAE的结合。
(3) 多生成器多判别器改进。
(4) 递归与多尺度设计。
(5) 各类层归一化机制的使用。
(6) 注意力机制的使用。
(7) 从2D数据到3D数据的生成。
(8) 多模态技术的使用。
(9) 数据生成在数据增强,无监督训练等任务中应用。
(10) 其他等等。
以上内容,如果你不想自己学习,可以去我们知识星球的网络结构1000变板块—GAN板块阅读。
有三AI知识星球
转载文章请后台联系
侵权必究
领取专属 10元无门槛券
私享最新 技术干货