恶劣天气下的目标检测

1、Object Detection in Fog Degraded Images

图像处理是从给定图像中提取有价值数据的技术，用于不同的目的，如改善图像的可视化，以及从提取的数据中测量结构或特征。高质量的图像和视频很容易预测和分类，而检测模糊或模糊的图像是一个麻烦的问题。本文提出了一种有效的方法，将离散小波变换和卷积神经网络等多种图像处理技术相结合，对去雾图像进行引导滤波预处理。所提出的技术极大地改进了相关的标准性能指标，如PSNR、MSE和IIE。

2、Cross-domain Learning Using Optimized Pseudo Labels: Towards Adaptive Car Detection in Different Weather Conditions and Urban Cities

基于卷积神经网络(CNN)的目标检测通常假设训练数据和测试数据具有相同的分布，然而，这在现实应用中并不总是成立。在自动驾驶汽车中，驾驶场景(目标域)由不受约束的道路环境组成，这些环境不可能全部在训练数据(源域)中被观测到，这将导致检测器的准确性急剧下降。本文提出了一种基于伪标签的域自适应框架来解决域漂移问题。首先，通过基线检测器(BD)生成目标域图像的伪标签，并通过数据优化模块进行优化，以纠正错误;然后，根据伪标签的优化结果对单个图像中的硬样本进行标记。采用自适应采样模块，根据每幅图像的硬采样个数对目标域数据进行采样，以选择更有效的数据。最后，将改进后的知识精馏损失应用于再训练模块，研究了两种分配软标签到目标域训练实例的方法来对检测器进行再训练。我们评估了该方法在不同源/目标域对中的平均精度，并在Cityscapes、KITTI和Apollo数据集上验证了该框架在多域自适应场景下的平均BD精度提高了10%以上。

3、Accelerated Fog Removal From Real Images for Car Detection

图像去雾提高了计算机视觉应用中图像的视觉质量，例如目标检测和目标跟踪。提出了一种用于车辆检测的加速图像增强技术，作为为了交通管理的目的而使用现有街道摄像机来计数车辆的努力的一部分。解决了汽车检测的两个方面:1)通过用更快的滤波器代替耗时的图像滤波器来加速现有的图像去雾技术，同时保持可忽略的图像退化，2)提出了在无雾图像中检测汽车的快速且实用的算法，并将其应用于大约100幅汽车图像的数据库。除了汽车检测精度之外，加速是本研究的主要目标。改进的雾去除技术是通过使用所提出的自适应滤波器(PAF)估计透射图来恢复雾天图像的场景深度来执行的。在过滤之后，执行简单、准确且有效的汽车检测算法，以确认在处理后的图像中是否存在汽车。该系统相当鲁棒，尽管所有图像都是从现有来源获得的，但所提出的算法预计在浓雾和真实条件下对汽车的任何侧视图像都具有同样好的性能。

4、Road scenes analysis in adverse weather conditions by polarization-encoded images and adapted deep learning

道路场景中的目标检测对于开发自主车辆和驾驶辅助系统都是必要的。即使用于识别任务的深度神经网络在使用传统图像时表现出了很好的性能，但是在复杂的采集情况下，它们不能检测道路场景中的对象。相比之下，表征光波的偏振图像即使在弱照明或强反射的情况下，也能鲁棒地描述物体的重要物理特性。本文展示了非常规偏振成像模式如何克服传统的目标检测方法，特别是在恶劣天气条件下。所提出的方法的效率主要是由于旋光性的高功率以通过其反射特性来辨别任何物体，以及使用深度神经网络来进行物体检测。我们的目标是通过这项工作，证明偏振测量带来了一个真正的附加值相比，RGB图像的目标检测。在由恶劣天气条件下拍摄的道路场景图像组成的数据集上的实验结果表明，在不同的检测任务中，偏振测量和深度学习可以将技术水平提高大约20%到50%。

5、Deep Learning Approaches on Pedestrian Detection in Hazy Weather

有效地检测各种环境中的行人将显著提高自主车辆的驾驶安全性。然而，在雾天拍摄的行人图像的去模糊的可见度和模糊的轮廓和外观强烈地限制了当前行人检测方法的有效性。为了解决这个问题，本文提出了三种新颖的深度学习方法。深度方向的可分离卷积和线性瓶颈技术被用来降低计算成本和参数数量，使我们的网络更有效。我们还在其中一种方法中创新性地开发了一个加权组合层，通过组合多尺度特征图和一个挤压和激励块。利用六种策略对雾天采集的行人图像进行增强，以丰富数据库。实验结果表明，本文提出的方法能够在雾天有效地检测出行人，在准确率和速度上都明显优于现有的方法。

6、Data Augmentation for Improving SSD Performance in Rainy Weather Conditions

本文主要研究在多雨天气条件下，利用数据增强技术提高单炮多箱探测器的性能。通过在一组清晰图像上生成合成雨来应用数据增强，以扩展用于训练的数据集。实验结果表明，在所提出的增强合成数据集上进行训练，固态硬盘模型的性能提高了16.82%。

7、Vehicle Detection and Counting for Complex Weather Conditions

有许多技术用于运动目标检测。后处理步骤包括设置适当的阈值来区分前景和背景，这对提高这些技术的检测率准确性有很大影响。然而，到目前为止，找到一个能够自适应的合适的阈值，特别是在能见度低的场景中，并不十分成功。提出了一种基于三角形阈值法的自适应阈值算法。与基于近似中值滤波器的背景建模一起，在当前帧和背景模型之间的差异直方图上应用三角形阈值。最后，应用形态学运算和计数。实验结果表明，在不同的天气条件下(如雾和雪)，三角形阈值可以有效地区分城市道路中的前景和背景。该方法与自适应局部阈值方法的比较表明了该方法的潜力。实验结果表明，与ALT相比，该方法在保持相似处理时间的同时，具有更好的检测率。

8、A NOVEL DATASET FOR OBJECT DETECTION IN RAINY WEATHER CONDITIONS

近年来，基于卷积神经网络的目标检测模型在自主驾驶系统中得到了广泛的关注并取得了令人瞩目的成果。然而，在恶劣的天气条件下，由于缺乏用于训练策略的相关数据集，这些模型的性能大大降低。在这项工作中，我们通过引入一个新的雨驱动数据集，命名为RD，解决了雨干扰下的目标检测问题。我们的数据集突出显示了各种数据源，有1100幅描绘各种驾驶场景的真实雨天图像，并带有五种常见交通对象类别的地面真实边界框注释。本文采用研发来训练三个最先进的目标检测模型，包括SSD512、视网膜和YOLO V3。实验结果表明，SSD512、RetinaNet和YOLO-V3模型的性能分别提高了5.64%、8.97%和5.70%。

9、Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather

摄像机、激光雷达和雷达测量等多模态传感器流的融合在自主车辆的目标检测中起着至关重要的作用，自主车辆的决策基于这些输入。虽然现有的方法在良好的环境条件下利用冗余信息，但在恶劣的天气条件下，它们会失败，因为在恶劣的天气条件下，感官流会不对称地扭曲。这些罕见的“边缘情况”场景在可用的数据集中没有表现出来，现有的融合架构也不是为处理它们而设计的。为了应对这一挑战，我们提出了一个新的多模态数据集，该数据集是在北欧行驶10，000多公里后获得的。虽然该数据集是不利天气下的第一个大型多模态数据集，具有100k个激光雷达、相机、雷达和门控近红外传感器标签，但由于极端天气很少，它不利于训练。为此，我们提出了一种深度融合网络，用于在没有覆盖所有非对称失真的大量标记训练数据的情况下进行鲁棒融合。从建议级融合出发，我们提出了一个由测量熵驱动的自适应融合特征的单次模型。我们在我们广泛的验证数据集上验证了基于干净数据训练的方法。代码和数据可以在这里找到：https://github.com/princeton-computational-imaging/SeeingThroughFog

10、A Real-Time Vehicle Detection System under Various Bad Weather Conditions Based on a Deep Learning Model without Retraining

已经提出了许多车辆检测方法来为智能交通系统的发展获得可信的交通数据。这些方法中的大多数在常见场景下表现良好，例如晴天或阴天；然而，在各种恶劣的天气条件下，例如雨天或有眩光的日子(通常发生在日落期间),检测精度会急剧下降。本研究提出了一种具有能见度互补模块的车辆检测系统，该系统在各种恶劣天气条件下提高了检测精度。此外，所提出的系统可以在不重新训练用于不同天气条件下的目标检测的深度学习模型的情况下实现。能见度的互补是通过使用暗通道先验和卷积编码器-解码器深度学习网络获得的，该网络具有双残差块，以解决不同恶劣天气条件的不同影响。通过使用“你只看一次”深度学习模型检测车辆，我们在多个监控视频上验证了我们的系统，并证明我们的系统的计算时间平均可达30帧/秒；此外，精确度不仅在低对比度场景条件下提高了近5%，而且在雨天场景条件下也提高了50%。我们的演示结果表明，我们的方法能够在各种恶劣天气条件下检测车辆，而无需重新培训新型号。

11、Vehicle Detection and Width Estimation in Rain by Fusing Radar and Vision*

虽然人们已经在深度学习目标检测方面付出了很多努力，但是在恶劣天气(例如雨、雪或霾)下的目标检测受到的关注相对有限。在大雨中，前挡风玻璃上的雨滴会使车内摄像头难以检测到物体。解决这个问题的传统方法是使用雷达作为主要的探测传感器。然而，雷达很容易出现误报。此外，许多入门级雷达传感器只返回每个检测到的物体的质心，而不是其大小和范围。此外，由于缺乏纹理输入，雷达无法区分车辆和非车辆对象，例如路边杆。这促使我们通过融合雷达和视觉来检测车辆。在本文中，我们首先相对于地平面校准雷达和照相机。然后将雷达探测投影到摄像机图像上，用于目标宽度估计。对大型数据库的经验评估表明，两个传感器之间存在天然的协同作用，因为雷达检测的准确性极大地促进了基于图像的估计。

12、Moving object detection under different weather conditions using full-spectrum light sources

鉴于与该主题相关的各种挑战，运动目标检测一直是一个活跃的研究领域。事实上，大多数挑战与低照度和天气条件(雾、雪、雨等)有关。)仍未解决，需要更多开发。在本文中，我们的内在目标是使用一种有效的运动目标检测方法来克服这些挑战。与大多数独立使用两个红外或可见光光谱之一的文献不同，我们提出了一种基于全光谱光源背景建模的运动目标检测方法。为了更好地保证运动目标速度和大小的适应性和独立性，在背景建模阶段引入了帧间差分方法的原理。此外，我们应用了一种新的策略在光谱之间切换，使我们能够受益于每个光谱的优势，即使在恶劣的天气条件下也能进行更好的运动目标检测。定量和定性评价的实验研究证明了我们提出的在不同光照和天气条件下使用全光谱光源之间切换策略的运动目标检测方法的鲁棒性和有效性。

13、It’s Raining Cats or Dogs? Adversarial Rain Attack on DNN Perception

雨是自然界中常见的现象，也是许多基于深度神经网络(DNN)的感知系统的重要因素。下雨通常会带来不可避免的威胁，必须小心应对，尤其是在安全和安保敏感的情况下(例如自动驾驶)。因此，全面调查降雨对DNN的潜在风险非常重要。不幸的是，在实践中，通常很难收集或合成能够代表现实世界中可能发生的所有下雨情况的下雨图像。为此，本文从一个新的角度出发，提出将两个完全不同的研究结合起来，即雨天图像合成和对抗性攻击。我们提出了一种对抗的降雨攻击，通过这种攻击，我们可以在部署的分布式神经网络的指导下模拟各种降雨情况，并揭示降雨可能带来的潜在威胁因素，从而帮助开发更抗雨的分布式神经网络。特别是，我们提出了一种因子感知的雨生成，它根据相机曝光过程模拟雨块，并为对抗攻击模拟可学习的雨因子。利用该生成器，我们进一步提出了针对图像分类和目标检测的对抗雨攻击，其中雨因子由各种dnn引导。因此，它能够全面研究降雨因素对DNNs的影响。我们在三个数据集上的大规模评估表明，我们合成的雨景图像不仅能够呈现视觉上真实的外观，而且具有很强的对抗能力，这为进一步的雨景感知研究奠定了基础。

14、Raindrops on the Windshield: Performance Assessment of Camera-based Object Detection

摄像机系统从周围环境中捕捉图像，并处理这些数据以检测和分类物体。造成故障和故障的一个特殊类别是不利的天气条件。在这种情况下，众所周知，例如，雨水由于吸收和散射下落的雨滴而降低了传感器的性能。此外，由于外部视野受到干扰，车载摄像头的物体检测会受到挡风玻璃上雨滴的影响。为了抵消这种影响，安装了挡风玻璃刮水器，以改善驾驶员的视觉信息，同时也有利于图像传感器。本文研究了雨天条件下一次擦拭动作的图像质量和目标检测的正确性。结果表明，随着雨滴在挡风玻璃上的积累，图像质量和目标检测性能下降。此外，它还显示了性能和时间之间的权衡。因此，应实施自适应加权数据融合，以便根据传感器数据最可靠的帧做出决策。

15、A Deep Learning-based Radar and Camera Sensor Fusion Architecture for Object Detection

近年来，使用深度学习的相机图像中的目标检测已被证明是成功的。不断提高的检测率和高效的计算网络结构将这一技术推向生产车辆的应用。然而，相机的传感器质量在恶劣的天气条件下受到限制，并且在光线稀疏的区域和夜间会增加传感器噪声。我们的方法通过在网络层融合摄像机数据和投影稀疏雷达数据来增强当前的2D目标检测网络。所提出的摄像机融合网络(CRF-Net)自动学习传感器数据的融合在哪个级别对检测结果最有利。此外，我们引入了BlackIn，这是一种受Dropout启发的培训策略，它将学习重点放在特定的传感器类型上。我们表明，对于两个不同的数据集，融合网络的性能优于现有的纯图像网络。这项研究的代码将提供给公众:https://github.com/TUMFTM/CameraRadarFusionNet

16、Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming

不管图像失真或天气条件如何，检测物体的能力对于像自主驾驶这样的深度学习的现实应用来说至关重要。我们在这里提供了一个易于使用的基准来评估图像质量下降时目标检测模型的表现。生成的三个基准数据集，称为帕斯卡-C、可可-C和城市风景-C，包含各种各样的图像损坏。我们表明，一系列标准目标检测模型在损坏的图像上遭受了严重的性能损失(低至原始性能的30-60%)。然而，一个简单的数据增加技巧——训练图像的风格化——导致跨损坏类型、严重性和数据集的鲁棒性的显著增加。我们设想我们的综合基准来跟踪构建健壮的目标检测模型的未来进展。基准、代码和数据是公开的。