首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    EXEMPLAR GUIDED UNSUPERVISED IMAGE-TOIMAGETRANSLATION WITH SEMANTIC CONSISTENCY

    由于深度学习的进步,图像到图像的翻译最近受到了极大的关注。大多数工作都集中在以无监督的方式学习一对一映射或以有监督的方式进行多对多映射。然而,更实用的设置是以无监督的方式进行多对多映射,由于缺乏监督以及复杂的域内和跨域变化,这更难实现。为了缓解这些问题,我们提出了示例引导和语义一致的图像到图像翻译(EGSC-IT)网络,该网络对目标域中的示例图像的翻译过程进行调节。我们假设图像由跨域共享的内容组件和每个域特定的风格组件组成。在目标域示例的指导下,我们将自适应实例规范化应用于共享内容组件,这使我们能够将目标域的样式信息传输到源域。为了避免翻译过程中由于大的内部和跨领域变化而自然出现的语义不一致,我们引入了特征掩码的概念,该概念在不需要使用任何语义标签的情况下提供粗略的语义指导。在各种数据集上的实验结果表明,EGSC-IT不仅将源图像转换为目标域中的不同实例,而且在转换过程中保持了语义的一致性。

    01

    Unsupervised Image-to-Image Translation Networks

    大多数现有的图像到图像翻译框架——将一个域中的图像映射到另一个域的对应图像——都是基于监督学习的,即学习翻译函数需要两个域中对应的图像对。这在很大程度上限制了它们的应用,因为在两个不同的领域中捕获相应的图像通常是一项艰巨的任务。为了解决这个问题,我们提出了基于变分自动编码器和生成对抗性网络的无监督图像到图像翻译(UNIT)框架。所提出的框架可以在没有任何对应图像的情况下在两个域中学习翻译函数。我们通过结合权重共享约束和对抗性训练目标来实现这种学习能力。通过各种无监督图像翻译任务的可视化结果,我们验证了所提出的框架的有效性。消融研究进一步揭示了关键的设计选择。此外,我们将UNIT框架应用于无监督领域自适应任务,并取得了比基准数据集中的竞争算法更好的结果。

    06

    Let There Be Light: Improved Traffic Surveillancevia Detail Preserving Night-to-Day Transfer

    近年来,在深度卷积神经网络(CNNs)的帮助下,图像和视频监控在智能交通系统(ITS)方面取得了长足的进步。作为最先进的感知方法之一,检测视频监控每帧中感兴趣的目标是ITS广泛期望的。目前,在具有良好照明条件的日间场景等标准场景中,物体检测显示出显著的效率和可靠性。然而,在夜间等不利条件下,物体检测的准确性会显著下降。该问题的主要原因之一是缺乏足够的夜间场景注释检测数据集。在本文中,我们提出了一个框架,通过使用图像翻译方法来缓解在不利条件下进行目标检测时精度下降的情况。 为了缓解生成对抗性网络(GANs)造成的细节破坏,我们建议利用基于核预测网络(KPN)的方法来重新定义夜间到日间的图像翻译。KPN网络与目标检测任务一起训练,以使训练的日间模型直接适应夜间车辆检测。车辆检测实验验证了该方法的准确性和有效性。

    02

    GAN-Based Day-to-Night Image Style Transfer forNighttime Vehicle Detection

    数据增强在训练基于CNN的检测器中起着至关重要的作用。以前的大多数方法都是基于使用通用图像处理操作的组合,并且只能产生有限的看似合理的图像变化。最近,基于生成对抗性网络的方法已经显示出令人信服的视觉结果。然而,当面临大而复杂的领域变化时,例如从白天到晚上,它们很容易在保留图像对象和保持翻译一致性方面失败。在本文中,我们提出了AugGAN,这是一种基于GAN的数据增强器,它可以将道路行驶图像转换到所需的域,同时可以很好地保留图像对象。这项工作的贡献有三个方面:(1)我们设计了一个结构感知的未配对图像到图像的翻译网络,该网络学习跨不同域的潜在数据转换,同时大大减少了转换图像中的伪影; 2) 我们定量地证明了车辆检测器的域自适应能力不受其训练数据的限制;(3) 在车辆检测方面,我们的目标保护网络在日夜困难的情况下提供了显著的性能增益。与跨领域的不同道路图像翻译任务的竞争方法相比,AugGAN可以生成更具视觉合理性的图像。此外,我们通过使用转换结果生成的数据集训练Faster R-CNN和YOLO来定量评估不同的方法,并通过使用所提出的AugGAN模型证明了目标检测精度的显著提高。

    02

    对偶学习的生成对抗网络 (DualGAN)

    近年来,生成对抗网络(Generative Adversarial Networks, GAN)成为了人工智能领域最为炙手可热的研究方向。GAN 的想法最早由 Ian Goodfellow 在 2014 年提出。GAN 用对抗的方法,同时训练了一个「生成模型(G)」与一个「判别模型(D)」,在学习的过程中,生成模型的优化目标是尽可能地去生成伪造的数据,从而获得真实数据的统计分布规律;而判别模型则用于判别给出的一个输入数据到底来源于真实数据还是生成模型。最终,当一个判别模型无法准确分辨生成模型所生成的数据是否为伪造时,此时我们认为判别模型与生成模型都已经提高到了较高的水平,生成模型所生成的数据足以模仿真实世界中的数据。因此,当我们使用 GAN 来「识别」图片时,我们不但识别了图片的内容,还可以生成各种不同内容的图片。费曼曾经说过:“What I cannot create, I do not understand.”生成模型为人工智能的研究提供了一种“create” 的可能性,因而引起了广泛的关注。

    02
    领券