开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

卷积生成对抗网络的鉴别器的输出是如何工作的，它可以有一个完全连接的层吗？

卷积生成对抗网络（Convolutional Generative Adversarial Network，简称CGAN）的鉴别器是用于判断输入数据是真实数据还是生成数据的模型。它的输出是一个概率值，表示输入数据为真实数据的概率。

鉴别器通常由多个卷积层和全连接层组成。卷积层用于提取输入数据的特征，全连接层用于将提取的特征映射到一个概率值。全连接层的输出通常使用sigmoid函数进行激活，将输出限制在0到1之间，表示输入数据为真实数据的概率。

在CGAN中，鉴别器可以包含一个完全连接的层。这个完全连接的层可以用于进一步处理卷积层提取的特征，以更好地判断输入数据的真实性。完全连接的层可以将卷积层提取的特征进行降维或者映射到更高维度的特征空间，以提高鉴别器的性能。

然而，在某些情况下，完全连接的层可能会导致过拟合问题，因此在设计鉴别器时需要根据具体任务和数据集的特点进行调整。在实际应用中，可以根据实验结果来确定是否需要添加完全连接的层，并进行适当的调整。

腾讯云提供了一系列与CGAN相关的产品和服务，例如：

腾讯云AI机器学习平台（https://cloud.tencent.com/product/tiia）：提供了丰富的机器学习和深度学习算法库，可以用于构建和训练CGAN模型。
腾讯云GPU云服务器（https://cloud.tencent.com/product/cvm/gpu）：提供了强大的GPU计算能力，可以加速CGAN模型的训练和推理过程。
腾讯云对象存储（https://cloud.tencent.com/product/cos）：提供了可靠、安全的对象存储服务，可以用于存储CGAN模型的训练数据和结果。
腾讯云人工智能开放平台（https://ai.qq.com/）：提供了多种人工智能API和工具，可以用于辅助CGAN模型的开发和应用。

以上是腾讯云提供的一些与CGAN相关的产品和服务，可以根据具体需求选择适合的产品和服务来支持CGAN的开发和应用。

相关搜索:在Resnet50中，全局平均池之后的完全连接层是如何工作的？如何将输出层连接到另一个神经网络的输入层？我正在构建一个用于后处理OCR文本的神经网络。卷积层是一个好的选择吗？急切加载如何工作？我的意思是我知道它的作用是什么,但我可以通过做一个'侧'查询来复制它吗？我有一个可以工作的函数，我想对列表中的多个数据帧循环运行它，但不知道如何更新数据帧？我有一个可以工作的Chrome react网络音频应用程序。当在火狐中运行时，变量会被列为undefined.Why吗？在测试我的应用程序时，我遇到了这种崩溃。我是一个完全的初学者，不知道如何解决这个问题，有什么解决方案吗？php添加变量数据库 php 定时存文件夹 php 取得公网ip

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

解读 | 生成人脸修复模型：同时使用两个鉴别器，直接合成逼真人脸

机器之心原创作者：Liao 参与：Joni、Nurhachu、黄小天近日，加利福尼亚大学和 Adobe Research 在 arXiv 上联合发表了一篇名为《生成人脸修复（Generative

08

使用 GAN 网络生成名人照片

生成式对抗网络（GANs）是深度学习中最热门的话题之一。生成式对抗网络是一类用于无监督学习算法的人工算法，由两个神经网络组成的系统实现：

01

生成对抗网络（GAN）的直观介绍

原文来源：freeCodeCamp 作者：Thalles Silva 让我们假设这样一种情景：你的邻居正在举办一场非常酷的聚会，你非常想去参加。但有要参加聚会的话，你需要一张特价票，而这个票早就已经卖完了。而对于这次聚会的组织者来说，为了让聚会能够成功举办，他们雇佣了一个合格的安全机构。主要目标就是不允许任何人破坏这次的聚会。为了做到这一点，他们在会场入口处安置了很多警卫，检查每个人所持门票的真实性。考虑到你没有任何武术上的天赋，而你又特别想去参加聚会，那么唯一的办法就是用一张非常有说服力的假票来

06

要让 GAN 生成想要的样本，可控生成对抗网络可能会成为你的好帮手

如何让 GAN 生成带有指定特征的图像？这是一个极有潜力、极有应用前景的问题，然而目前都没有理想的方法。韩国大学电子工程学院 Minhyeok Lee 和 Junhee Seok 近期发表论文，就生成对抗网络的控制问题给出了自己的办法，雷锋网 (公众号：雷锋网) AI 科技评论根据原文进行如下编辑，原文链接：https://arxiv.org/abs/1708.00598 简介生成对抗网络（GANs）是最近几年提出的新方法，在其问世之后的短短时间内，生成对抗网络已经在生成真实的样本上表现出很多有前途的

02

学界 | 要让GAN生成想要的样本，可控生成对抗网络可能会成为你的好帮手

AI 科技评论按：如何让GAN生成带有指定特征的图像？这是一个极有潜力、极有应用前景的问题，然而目前都没有理想的方法。韩国大学电子工程学院Minhyeok Lee和Junhee Seok近期发表论文，就生成对抗网络的控制问题给出了自己的办法，AI 科技评论根据原文进行如下编辑。简介生成对抗网络（GANs）是最近几年提出的新方法，在其问世之后的短短时间内，生成对抗网络已经在生成真实的样本上表现出很多有前途的结果了。然而，在生成对抗网络的使用上，目前还有未能解决的问题：由于发生器（Generator）

cnn\rnn\LSTM\\自编码\gan

最近看了莫烦Python的《了解机器学习部分》，虽然讲的内容是基础的，但是，自己总结一下才知道自己是不是记住啦，我总结的可能有错误或者不合适的地方，希望大家及时批评指正啦。https://morvanzhou.github.io/tutorials/machine-learning

02

如何快速理解GAN？这里有一篇最直观的解读

本文授权转自雷克世界（ID：raicworld）编译 | 嗯~阿童木呀、KABUDA 让我们假设这样一种情景：你的邻居正在举办一场非常酷的聚会，你非常想去参加。但有要参加聚会的话，你需要一张特价票，而这个票早就已经卖完了。而对于这次聚会的组织者来说，为了让聚会能够成功举办，他们雇佣了一个合格的安全机构。主要目标就是不允许任何人破坏这次的聚会。为了做到这一点，他们在会场入口处安置了很多警卫，检查每个人所持门票的真实性。考虑到你没有任何武术上的天赋，而你又特别想去参加聚会，那么唯一的办法就是用一张非

04

一文概览神经网络模型

一般的，神经网络模型基本结构按信息输入是否反馈，可以分为两种：前馈神经网络和反馈神经网络。

03

CANDY

单幅图像去雾是一个具有挑战性的不适定问题。文献中现有的去雾方法，包括最近引入的深度学习方法，将去雾问题建模为估计中间参数的问题，场景透射图和大气光。这些用于根据模糊输入图像计算无模糊图像。这种方法只关注中间参数的精确估计，而优化框架中没有考虑无霾图像的美学质量。因此，中间参数估计中的误差经常导致产生低质量的无霾图像。在本文中，我们提出了CANDY(基于条件敌对网络的模糊图像去雾)，这是一个完全端到端的模型，它直接从模糊的输入图像生成一个干净的无模糊图像。CANDY还将无雾霾图像的视觉质量纳入优化函数；从而产生高质量的无雾度图像。这是文献中第一个提出用于单一图像去雾的完全端到端模型的作品之一。此外，这是第一个工作，以探索概念的生成敌对网络的问题，单一图像霾清除。CANDY在合成创建的雾霾图像数据集上进行训练，而评估是在具有挑战性的合成和真实雾霾图像数据集上进行的。CANDY的广泛评估和比较结果表明，它在定量和定性方面都明显优于文献中现有的最先进的去雾方法。

01

开发 | 自Ian Goodfellow之后，GANs还有哪些开拓性进展？

AI科技评论按：本文由作者Adit Deshpande总结，AI科技评论编译整理。Adit Deshpande目前是UCLA计算机科学专业生物信息学方向的大二学生。他热衷于将自己的机器学习和计算机视觉

07

自 Ian Goodfellow 之后，GANs 还有哪些开拓性进展？

编者按：本文由作者Adit Deshpande总结，AI 研习社编译整理。Adit Deshpande 目前是UCLA计算机科学专业生物信息学方向的大二学生。他热衷于将自己的机器学习和计算机视觉技术应

06

用StyleGAN生成“权力的游戏”人物（上）

编译 | sunlei 发布 | ATYUN订阅号本文目录介绍生成式对抗网络生成器鉴别器本文小结介绍《权利的游戏》迎来了大结局，我斗胆在此问一下各位权游迷，你有没有想过如果你最喜欢的

07

GANs是如何创造出高分辨率的图像的

深度卷积生成对抗网络是2020年最精致的神经网络体系结构。生成模型可以追溯到60年代，但是Ian Goodfellow在2014年创造的GAN，使得生成模型跟那个广泛的使用，这对于深度学习的未来有着前所未有的价值。

02

翻车现场：我用pytorch和GAN做了一个生成神奇宝贝的失败模型

神奇宝贝已经是一个家喻户晓的动画了，我们今天来确认是否可以使用深度学习为他自动创建新的Pokemon。

01

CVPR 2020 | 10篇改进GAN的论文（网络、训练、正则等）

引入新的局部稀疏注意力层，保留二维几何形状和局部性，用这种结构替换SAGAN的密集注意力层即可获得显着的FID、Inception score和视觉效果。https://github.com/giannisdaras/ylg

02

【新手必备】GAN生成对抗网络论文阅读路线图（附论文下载链接）

作者：İdil Sülo, Middle East Technical University

03

资料 | 生成对抗网络（GAN）论文阅读路线图【打包下载】

为了帮助其他想要了解更多关于GAN技术的人，我想按照我阅读的顺序分享一些我读过的文章。在阅读这些论文之前，如果您不熟悉这些论文，我建议您学习一些深度学习的基础知识。我也相信其中一些论文背后的数学可能非常困难，所以如果你觉得不舒服，你可以跳过这些部分。

03

探索生成式对抗网络GAN训练的技术：自注意力和光谱标准化

最近，生成模型引起了很多关注。其中很大以部分都来自生成式对抗网络（GAN）。GAN是一个框架，由Goodfellow等人发明，其中互相竞争的网络，生成器G和鉴别器D都由函数逼近器表示。它们在对抗中扮演不同的角色。

02

Tensorflow入门教程（四十八）——Seg-GLGAN

今天将分享Unet的改进模型Seg-GLGAN，改进模型来自2020年的论文《A CONTEXT BASED DEEP LEARNING APPROACH FORUNBALANCED MEDICAL IMAGE SEGMENTATION》，简单明了给大家分析理解该模型思想。

02

CVPR 2020 | 10篇改进GAN的论文（网络、训练、正则等）

引入新的局部稀疏注意力层，保留二维几何形状和局部性，用这种结构替换SAGAN的密集注意力层即可获得显着的FID、Inception score和视觉效果。https://github.com/giannisdaras/ylg

02

One-Shot Image-to-Image Translation viaPart-Global Learning With aMulti-Adversarial Framework

众所周知，人类可以从几个有限的图像样本中有效地学习和识别物体。然而，对于现有的主流深度神经网络来说，仅从少数图像中学习仍然是一个巨大的挑战。受人类思维中类比推理的启发，一种可行的策略是“翻译”丰富的源域的丰富图像，以用不足的图像数据丰富相关但不同的目标域。为了实现这一目标，我们提出了一种新的、有效的基于部分全局学习的多对抗性框架（MA），该框架实现了一次跨域图像到图像的翻译。具体而言，我们首先设计了一个部分全局对抗性训练方案，为特征提取提供了一种有效的方法，并防止鉴别器被过度拟合。然后，采用多对抗机制来增强图像到图像的翻译能力，以挖掘高级语义表示。此外，还提出了一种平衡对抗性损失函数，旨在平衡训练数据，稳定训练过程。大量实验表明，所提出的方法可以在两个极不平衡的图像域之间的各种数据集上获得令人印象深刻的结果，并且在一次图像到图像的转换上优于最先进的方法。

02

学界 | CMU提出对抗生成网络：可实现对人脸识别模型的神经网络攻击

选自arXiv 作者：Mahmood Sharif等机器之心编译参与：Panda 生成对抗网络（GAN）已经是人工智能领域内的一个常用词了，但你听说过对抗生成网络（AGN）吗？近日，卡内基梅隆大学和北卡罗来纳大学教堂山分校的研究者在 arXiv 上发布的一篇论文提出了这种网络，可实现对当前最佳的人脸识别模型的神经网络攻击。深度神经网络（DNN）已经在人脸验证（即确定两张人脸图像是否属于同一个人）方面超越了人类的水平。不幸的是，研究还表明使用对抗样本（adversarial example）就可以轻易

07

训练GANs的陷阱与提示

生成性对抗网络（GANs）是目前深度学习中最热门的话题之一。在过去几个月里，在GANs上发表的论文数量大幅增加。GANs已经被应用于各种各样的问题，如果您错过了那一班车，这里有了关于GANs的一些很酷的应用列表。

04

GANs有嘻哈：一次学完10个GANs明星模型（附视频）

以“左右互搏”的观念为人所知，GANs从概念开始就让人激动不已。不过从GANs被提出的第一天起，深度学习圈就出了个“大坑”，而且越挖越大、完全没有被填满的趋势。

04

实景照片秒变新海诚风格漫画：清华大学提出CartoonGAN

CartoonGAN 的预训练模型，其中包括宫崎骏、细田守、今敏（动画电影《红辣椒》）和新海诚风格：

02

实景照片秒变新海诚风格漫画：清华大学提出CartoonGAN

CartoonGAN 的预训练模型，其中包括宫崎骏、细田守、今敏（动画电影《红辣椒》）和新海诚风格：http://cg.cs.tsinghua.edu.cn/people/~Yongjin/CartoonGAN-Models.rar

00

实景照片秒变新海诚风格漫画：清华大学提出CartoonGAN

CartoonGAN 的预训练模型，其中包括宫崎骏、细田守、今敏（动画电影《红辣椒》）和新海诚风格：http://cg.cs.tsinghua.edu.cn/people/~Yongjin/CartoonGAN-Models.rar

03

Learning to Adapt Structured Output Space for Semantic Segmentation

对语义分割来讲基于卷积神经网络的方法，依赖像素级ground-truth标记，但是对未知领域可能泛化效果并不好。因为标记过程是沉闷和耗时的，开发将源ground truth标记到目标域引起了很大的关注。本文我们提出一种对抗训练方法在语义分割的内容中进行域适配。考虑语义分割作为结构输出包含源域和目标域的空间相似性，在输出空间中，我们采用对抗训练。为了进一步增强适配模型，我们构建一个多层对抗网络，在不同特征级别上有效的执行输出空间域适配。一系列的实验和消融研究在不同域适配下进行，包括合成到真实和跨城市场景。我们表明提出的方法在精度是视觉质量方面，超过了现有的最先进的方法。

02

深度学习进阶篇[8]：对抗神经网络GAN基本概念简介、纳什均衡、生成器判别器、解码编码器详解以及GAN应用场景

理性这个关键字，因为它是博弈论的基础。我们可以简单地把理性称为一种理解，即每个行为人都知道所有其他行为人都和他/她一样理性，拥有相同的理解和知识水平。同时，理性指的是，考虑到其他行为人的行为，行为人总是倾向于更高的报酬/回报。

03

Multimodal UnsupervisedImage-to-Image Translation

无监督图像到图像的翻译是计算机视觉中一个重要且具有挑战性的问题。给定源域中的图像，目标是学习目标域中相应图像的条件分布，而不需要看到任何相应图像对的示例。虽然这种条件分布本质上是多模式的，但现有的方法过于简化了假设，将其建模为确定性的一对一映射。因此，它们无法从给定的源域图像生成不同的输出。为了解决这一限制，我们提出了一种多模式无监督图像到图像翻译（MUNIT）框架。我们假设图像表示可以分解为域不变的内容代码和捕获域特定属性的样式编码。为了将图像翻译到另一个域，我们将其内容编码与从目标域的样式空间采样的随机样式代码重新组合。我们分析了所提出的框架，并建立了几个理论结果。与最先进的方法进行比较的大量实验进一步证明了所提出的框架的优势。此外，我们的框架允许用户通过提供示例风格图像来控制翻译输出的风格。

03

11种主要神经网络结构图解

随着深度学习的快速发展，人们创建了一整套神经网络结构来解决各种各样的任务和问题。尽管有无数的神经网络结构，这里有十一种对于任何深度学习工程师来说都应该理解的结构，可以分为四大类: 标准网络、循环网络、卷积网络和自动编码器。

02

『一起学AI』生成对抗网络(GAN)原理学习及实战开发

在某种形式上，我们使用了深度神经网络学习的从数据示例到标签的映射。这种学习称为判别学习，例如，我们希望能够区分照片中的猫和狗中的照片。分类器和回归器都是歧视性学习的例子。通过反向传播训练的神经网络颠覆了我们认为关于大型复杂数据集的判别式学习的所有知识。在短短5至6年间，高分辨率图像的分类精度已从无用提高到了人类水平。我们将为您提供其他所有关于深度神经网络效果惊人的其他判别任务的帮助。

02

带你理解CycleGAN，并用TensorFlow轻松实现

王小新编译自 GitHub 量子位出品 | 公众号 QbitAI 把一张图像的特征转移到另一张图像，是个非常一颗赛艇的想法。把照片瞬间变成梵高、毕加索画作风格，想想就很酷。图1：星空版小狗文末

06

深度学习在图像处理的应用一览

计算机视觉的底层，图像处理，根本上讲是基于一定假设条件下的信号重建。这个重建不是3-D结构重建，是指恢复信号的原始信息，比如去噪声。这本身是一个逆问题，所以没有约束或者假设条件是无解的，比如去噪最常见的假设就是高斯噪声。

02

使用GAN绘制像素画，用机器学习的方式协助绘画者更快地完成作品

上面的图片来自Trajes Fatais：Feats of Fate游戏，我作为首席开发者从事该游戏的制作。长话短说，每个精灵要绘制大约一小时，每个角色平均要绘制五百个精灵。在“游戏的机器学习辅助资料生成：像素绘画Sprite表格研究”中，我们探索了Pix2Pix架构来自动生产Sprite的流程，将每个Sprite花费的平均时间减少了15分钟（〜25％）。这是我们首次发表的有关精灵生成的工作，我们希望在将来进一步改进它。

01

【实践】伪造名人的脸—做一个小示例了解生成式对抗网络

生成式对抗网络(GAN)的概念由Ian Goodfellow提出。Goodfellow使用了艺术评论家和艺术家的比喻来描述这两个模型比喻发生器和鉴别，它们组成了GAN。一个艺术评论家(鉴别器)试图判断图像是不是伪造的。一个想愚弄艺术评论家的艺术家(生成器)试图创造一个看起来尽可能真实的伪造的形象。他们“相互斗争”;鉴别器使用生成器的输出作为训练数据，而生成器则从鉴别器中得到反馈。在这个过程中，每个模型都变得更加强大。通过这种方式，GANs能够根据一些已知的输入数据生成新的复杂数据。实现GAN并不像听起来那

04

生成对抗网络综述：从架构到训练技巧，看这篇论文就够了

选自arXiv 机器之心编译参与：路雪、刘晓坤、蒋思源近日，帝国理工学院、蒙特利尔大学等研究机构共同发表论文并梳理了生成对抗网络，该论文从最基本的 GAN 架构及其变体到训练过程和训练技巧全面概述了生成对抗网络的概念、问题和解决方案。机器之心简要介绍了该论文。原 GAN（Goodfellow et al., 2014）的完整理论推导与 TensorFlow 实现请查看机器之心的 GitHub 项目与文章：GAN 完整理论推导与实现。下面，我们将为各位读者介绍该综述论文。论文地址：https://ar

火热的生成对抗网络(GAN),你究竟好在哪里

自2014年Ian Goodfellow提出生成对抗网络(GAN)的概念后,生成对抗网络变成为了学术界的一个火热的研究热点,Yann LeCun更是称之为”过去十年间机器学习领域最让人激动的点子”.生成对抗网络的简单介绍如下,训练一个生成器(Generator,简称G),从随机噪声或者潜在变量(Latent Variable)中生成逼真的的样本,同时训练一个鉴别器(Discriminator,简称D)来鉴别真实数据和生成数据,两者同时训练,直到达到一个纳什均衡,生成器生成的数据与真实样本无差别,鉴别器也无法正确的区分生成数据和真实数据.GAN的结构如图1所示.

02

EnlightenGAN: Deep Light Enhancement without Paired Supervision

摘要基于深度学习的方法在图像恢复和增强方面取得了显著的成功，但在缺乏成对训练数据的情况下，它们是否仍然具有竞争力?作为一个例子，本文探讨了弱光图像增强问题，在实践中，它是非常具有挑战性的同时采取一个

02

50行代码实现GAN | 干货演练

2014年，Ian Goodfellow和他的同事发表了一篇论文，向世界介绍了生成对抗网络(GAN)。通过对计算图和博弈论的创新性组合，他们表明如果有足够的建模能力，两个相互对抗的模型可以通过普通的反向传播进行共同训练。

03

深度 | 生成对抗网络初学入门：一文读懂GAN的基本原理（附资源）

选自 Sigmoidal 作者：Roman Trusov 机器之心编译参与：Panda 生成对抗网络是现在人工智能领域的当红技术之一。近日，Sigmoidal.io 的博客发表了一篇入门级介绍文章，对 GAN 的原理进行了解释说明。另外，在该文章的最后还附带了一些能帮助初学者自己上手开发实验的资源（包含演讲、教程、代码和论文），其中部分资源机器之心也曾有过报道或解读，读者可访问对应链接查阅。你怎么教一台从未见过人脸的机器学会绘出人脸？计算机可以存储拍字节级的照片，但它却不知道怎样一堆像素组合才具有与人

十大深度学习算法的原理解析

深度学习是机器学习的子集，它基于人工神经网络。学习过程之所以是深度性的，是因为人工神经网络的结构由多个输入、输出和隐藏层构成。每个层包含的单元可将输入数据转换为信息，供下一层用于特定的预测任务。得益于这种结构，机器可以通过自身的数据处理进行学习。

02

Unsupervised Pixel–Level Domain Adaptation with Generative Adversarial Networks

对于许多任务来说，收集注释良好的图像数据集来训练现代机器学习算法的成本高得令人望而却步。一个吸引人的替代方案是渲染合成数据，其中地面实况注释是自动生成的。不幸的是，纯基于渲染图像训练的模型往往无法推广到真实图像。为了解决这一缺点，先前的工作引入了无监督的领域自适应算法，该算法试图在两个领域之间映射表示或学习提取领域不变的特征。在这项工作中，我们提出了一种新的方法，以无监督的方式学习像素空间中从一个域到另一个域的转换。我们基于生成对抗性网络（GAN）的模型使源域图像看起来像是从目标域绘制的。我们的方法不仅产生了合理的样本，而且在许多无监督的领域自适应场景中以很大的优势优于最先进的方法。最后，我们证明了适应过程可以推广到训练过程中看不到的目标类。

04

Unsupervised Image-to-Image Translation Networks

大多数现有的图像到图像翻译框架——将一个域中的图像映射到另一个域的对应图像——都是基于监督学习的，即学习翻译函数需要两个域中对应的图像对。这在很大程度上限制了它们的应用，因为在两个不同的领域中捕获相应的图像通常是一项艰巨的任务。为了解决这个问题，我们提出了基于变分自动编码器和生成对抗性网络的无监督图像到图像翻译（UNIT）框架。所提出的框架可以在没有任何对应图像的情况下在两个域中学习翻译函数。我们通过结合权重共享约束和对抗性训练目标来实现这种学习能力。通过各种无监督图像翻译任务的可视化结果，我们验证了所提出的框架的有效性。消融研究进一步揭示了关键的设计选择。此外，我们将UNIT框架应用于无监督领域自适应任务，并取得了比基准数据集中的竞争算法更好的结果。

06

【读论文】DDcGAN

论文中提出了一种基于CGAN的双鉴别器的图像融合模型，称为DDcGAN，网络结构包含两个鉴别器，分别为了保持融合图像有红外图像和可视图像的重要特征；在训练过程中，希望辨别器无法区分源图像（红外图像和可视图像）和融合图像，这个过程中不需要自己设计特定的融合机制，同时也不需要ground truth图像；论文中提出的方法还可以应用到医学图像融合问题。

01

顶会抄顶会：SIGIR 2019论文被爆抄袭，部分内容宛如复制粘贴

荷兰、瑞士两位学者（其中一位是教授）的SIGIR 2019论文被发现抄袭，部分内容与RecSys 2018一篇论文高度相似，只有个别用词出现改动。

01

StyleSwin: Transformer-based GAN for High-resolution Image Generation

尽管Transformer在广泛的视觉任务中取得了诱人的成功，但在高分辨率图像生成建模方面，Transformer还没有表现出与ConvNets同等的能力。在本文中，我们试图探索使用Transformer来构建用于高分辨率图像合成的生成对抗性网络。为此，我们认为局部注意力对于在计算效率和建模能力之间取得平衡至关重要。因此，所提出的生成器在基于风格的架构中采用了Swin Transformer。为了实现更大的感受野，我们提出了双重关注，它同时利用了局部窗口和偏移窗口的上下文，从而提高了生成质量。此外，我们表明，提供基于窗口的Transformer中丢失的绝对位置的知识极大地有利于生成质量。所提出的StyleSwan可扩展到高分辨率，粗糙的几何结构和精细的结构都得益于Transformer的强大表现力。然而，在高分辨率合成期间会出现块伪影，因为以块方式执行局部关注可能会破坏空间相干性。为了解决这个问题，我们实证研究了各种解决方案，其中我们发现使用小波鉴别器来检查频谱差异可以有效地抑制伪影。大量实验表明，它优于现有的基于Transformer的GANs，尤其是在高分辨率（例如1024×1024）方面。StyleWin在没有复杂训练策略的情况下，在CelebA HQ 1024上优于StyleGAN，在FFHQ-1024上实现了同等性能，证明了使用Transformer生成高分辨率图像的前景。

02

Domain Adaptation for Structured Output viaDiscriminative Patch Representations

预测语义分割等结构化输出依赖于昂贵的每像素注释来学习卷积神经网络等监督模型。然而，在没有模型调整注释的情况下，在一个数据域上训练的模型可能无法很好地推广到其他域。为了避免注释的劳动密集型过程，我们开发了一种域自适应方法，将源数据自适应到未标记的目标域。我们建议通过构建聚类空间来发现逐片输出分布的多种模式，从而学习源域中补丁的判别特征表示。以这种表示为指导，我们使用对抗性学习方案来推动聚类空间中目标补丁的特征表示更接近源补丁的分布。此外，我们还表明，我们的框架是对现有领域自适应技术的补充，并在语义分割方面实现了一致的改进。广泛的消融和结果在各种设置的众多基准数据集上进行了演示，例如合成到真实和跨城市场景。

04

生成模型VAE、GAN和基于流的模型详细对比

在Ian Goodfellow和其他研究人员在一篇论文中介绍生成对抗网络两年后，Yann LeCun称对抗训练是“过去十年里ML最有趣的想法”。尽管GANs很有趣，也很有前途，但它只是生成模型家族的一部分，是从完全不同的角度解决传统AI问题，在本文中我们将对比常见的三种生成模型。

02

【GAN全局实用手册】谷歌大脑最新研究，Goodfellow力荐

【新智元导读】随着GAN越来越多的应用到实际研究当中，其技术中的缺陷与漏洞也随之出现。从实际角度对GAN的当前状态进行深入挖掘与理解就显得格外重要。来自Google Brain的Karol Kurach等人重现了当前的技术发展水平，探索GAN的景观，并讨论常见的陷阱和可重复性等问题。

00

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭