无监督，无需匹配样本！英伟达提出基于GAN的无监督图到图迁移框架

【新智元导读】英伟达研究人员发表论文，提出图像到图像的无监督学习。实现方式值得一看。

大多数现有的图像到图像（image-to-image）迁移框架是基于监督学习的，需要将一个域中的图像映射到另一个域的对应图像，即，需要需要两个域的对应图像对来学习迁移函数。这大大限制了它们的应用，因为在两个不同的域中把图像对应起来通常是很困难的任务。为了解决这个问题，论文提出一个新的框架，即无监督图到图迁移（ UNsupervised Image-to-image Translation，UNIT）框架，这个框架基于变分自编码器和生成对抗网络。我们提出的框架可以在两个域中没有任何对应的图像的情况下学习迁移函数。论文通过组合权重共享的限制和对抗训练目标来实现这种学习能力。通过多样化的无监督图像迁移任务的可视化结果，论文验证了所提出的框架的有效性。进一步的研究揭示了关键的设计选择。此外，研究把 UNIT 框架应用于无监督的域适应任务，并在基准数据集上获得了比其他算法更好的结果。

无监督图像迁移（UNIT）网络框架

论文针对无监督图像到图像的迁移任务提出了无监督图像迁移（UNIT）网络框架。 如图1所示，该框架由最近的深度生成模型的驱动，包括变分自动编码器（VAE）（Kingma＆Welling, 2013; Rezende et al., 2014; Larsen et al., 2016）和生成式对抗网络 （Goodfellow et al., 2014; Liu＆Tuzel, 2016）。它由6个子网络组成：包括两个域图像编码器E1和E2，两个域图像发生器G1和G2，以及两个域对抗鉴别器D1和D2。有几种方法来解释子网络的角色，如表1所示。我们特别指出，UNIT网络一次可以学习双向迁移。

框架示意图

论文结论

研究提出 UNIT 框架——一个无监督的图到图迁移的一般框架。研究证明该框架能在训练数据集的两个域中没有任何相对应图像的情况下，学会将图像从一个域迁移到另一个域。将来，研究计划将该框架扩展以处理半监督的图到图掐你任务，其中给出的域的对应可以是以一组规则的方式，或几对相对应的图像的方式。我们也计划将该框架扩展到无监督的语言到语言的翻译任务。

论文作者：Ming-Yu Liu, Thomas Breuel, Jan Kautz

论文地址：https://arxiv.org/pdf/1703.00848.pdf