首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Learning to Adapt Structured Output Space for Semantic Segmentation

对语义分割来讲基于卷积神经网络的方法,依赖像素级ground-truth标记,但是对未知领域可能泛化效果并不好。因为标记过程是沉闷和耗时的,开发将源ground truth标记到目标域引起了很大的关注。本文我们提出一种对抗训练方法在语义分割的内容中进行域适配。考虑语义分割作为结构输出包含源域和目标域的空间相似性,在输出空间中,我们采用对抗训练。为了进一步增强适配模型,我们构建一个多层对抗网络,在不同特征级别上有效的执行输出空间域适配。一系列的实验和消融研究在不同域适配下进行,包括合成到真实和跨城市场景。我们表明提出的方法在精度是视觉质量方面,超过了现有的最先进的方法。

02
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Progressive Domain Adaptation for Object Detection

    最近用于对象检测的深度学习方法依赖于大量的边界框注释。收集这些注释既费力又昂贵,但当对来自不同分布的图像进行测试时,监督模型并不能很好地推广。领域自适应通过使现有标签适应目标测试数据来提供解决方案。然而,领域之间的巨大差距可能会使适应成为一项具有挑战性的任务,从而导致不稳定的训练过程和次优结果。在本文中,我们建议用一个中间域来弥合领域差距,并逐步解决更容易的适应子任务。该中间域是通过平移源图像以模仿目标域中的图像来构建的。为了解决领域转移问题,我们采用对抗性学习来在特征级别对齐分布。此外,应用加权任务损失来处理中间域中的不平衡图像质量。 实验结果表明,我们的方法在目标域上的性能优于最先进的方法。

    03

    Domain Adaptive Faster R-CNN for Object Detection in the Wild

    典型的目标检测假定训练和测试数据来自同一个理想分布,但是在实际中这通常是不满足的。这种分布的错误匹配将会导致一个明显的性能下降。这篇工作我们旨在提升目标检测的跨域鲁棒性。我们在两个层级上解决域偏移问题:(1)、图像级偏移,例如图像的风格、亮度等。(2)、实例级偏移,例如目标的外观、尺寸等。基于最近的最先进的目标检测器Faster R-CNN来构建我们的方法,我们设计了两个域适配组件,图像级和实例级,来减少域矛盾。这两个域适配组件基于H散度理论,并且用对抗训练方式训练的域分类器来实现。不同级别的域分类器用连续正则化进一步加强,目的是在Faster R-CNN模型上学习一个域不变RPN。使用多个数据集包括Cityscapes,KITTI,SIM10K等来评估我们新提出的方法。结果证明对各种域迁移场景的鲁邦目标检测,我们提出的方法很有效。

    02

    Every Pixel Matters: Center-aware Feature Alignment for Domain Adaptive

    域适配目标检测旨在将目标检测器适配到未知的域,新的域可能会遇到各种各样的外观变化,包括外观,视角或者背景。现存的大多数方法在图像级或者实例级上采用图像对齐的方法。然而,在全局特征上的图像对齐可能会使得前景和背景像素同时发生缠绕。和现有的方法所不同的是,我们提出了一个域适配框架提前预测目标和中心度来对每个像素都负责。特别地,提出的方法通过给背景像素更多的关注来进行中心可知的对齐,因此比以前的适配方法效果更好。在大量适配设置的大量实验上证明了我们所提出方法的有效性,并且展示了比SOTA算法更佳的表现。

    01

    Learning Texture Invariant Representation for Domain Adaptation

    由于为语义分割注释像素级标签非常费力,因此利用合成数据是一个很有吸引力的解决方案。然而,由于合成域与真实域之间存在域间的差异,用合成数据训练的模型很难推广到真实数据中去。在本文中,我们考虑到两个域之间的根本区别作为纹理,提出了一种适应目标域纹理的方法。首先,我们利用风格转换算法对合成图像的纹理进行多样性处理。生成图像的各种纹理防止分割模型过度拟合到一个特定的(合成)纹理。然后通过自训练对模型进行微调,得到对目标纹理的直接监督。我们的结果达到了最先进的性能,我们通过大量的实验分析了在程式化数据集上训练的模型的属性。

    03

    Texture Underfitting for Domain Adaptation

    全面的语义分割是鲁棒场景理解的关键组成部分之一,也是实现自动驾驶的要求。在大规模数据集的驱动下,卷积神经网络在这项任务上表现出了令人印象深刻的结果。然而,推广到各种场景和条件的分割算法需要极其多样化的数据集,这使得劳动密集型的数据采集和标记过程过于昂贵。在分割图之间结构相似的假设下,领域自适应有望通过将知识从现有的、潜在的模拟数据集转移到不存在监督的新环境来解决这一挑战。虽然这种方法的性能取决于神经网络学习对场景结构的高级理解这一概念,但最近的工作表明,神经网络倾向于过度适应纹理,而不是学习结构和形状信息。 考虑到语义分割的基本思想,我们使用随机图像风格化来增强训练数据集,并提出了一种有助于纹理适配的训练程序,以提高领域自适应的性能。在使用有监督和无监督方法进行合成到实域自适应任务的实验中,我们表明我们的方法优于传统的训练方法。

    02
    领券