论文分享 | 恶劣天气下的3D目标检测

转载自：NNU三维世界

编辑：东岸因为@一点人工一点智能公众号

LiDAR是真实世界三维感知任务的重要传感器之一，但当光学介质中存在水或雪粒子时，这些粒子与激光束相互作用，具体表现为吸收、反射或折射激光束。这种相互作用产生了两种显著的影响：一是导致LiDAR的接收到的物体反射功率发生衰减；二是粒子的后向散射造成接收功率出现伪最大值，进而在不同于目标真实距离的范围内产生伪回波。因此，由于强烈的噪声干扰，捕获的点云会发生与正常天气下相差较大的域移位，从而导致测量质量严重下降。这一现象对3D目标检测等高级任务的性能产生不利的影响。接下来将介绍三个与之相关的研究工作：

01 雨天环境下的鲁棒3D目标检测

论文题目：Towards Robust 3D Object Detection In Rainy Conditions

作者：Aldi Piroli,Vinzenz Dallabetta,Johannes Kopp等

收录期刊（会议）：ITSC 2023

论文链接：https://arxiv.org/pdf/2310.00944.pdf

1.1 动机和贡献

图1-1 喷雾效应引起的目标检测性能下降

喷水效应在车辆于湿滑路面高速行驶时尤为显著。车辆轮胎的滚动作用将地面水滴推向后方，形成喷水走廊。这些水滴被LiDAR传感器捕获，成为测量中的干扰噪声。在正常天气条件下训练的目标检测器在面临此类喷水现象时，其性能将受到显著影响（图1-1）。这种影响具体表现为目标漏检，即因视野受阻而无法检测到目标，以及幽灵目标的产生，即在感知系统中引入假阳性检测。

针对上述现象，本文（1）提出了一个框架，旨在增强雨天环境下3D LiDAR目标检测器的抗干扰能力，该框架基于点对点的恶劣天气过滤机制。（2）针对包含LiDAR和雷达传感器的多模态配置，作者引入Radar目标作为额外的后处理步骤，以有效滤除由喷水产生的假阳性目标。真实世界场景下的测试结果表明，本文提出的方法显著提升了多个目标检测器对道路喷水干扰的抗性，同时保持了实时性能。

1.2 方法

图2 本文方法的整体架构

本文的方法流程如图1-2所示，对于给定LiDAR点云P，首先去除所有不利天气的噪声点，得到滤波后的点云P0作为目标探测器的输入。与直接使用未处理的点云作为输入相比，检测结果受道路喷雾现象的影响较小。在包括Radar在内的多传感器设置中，利用其固有的对恶劣天气的鲁棒性，通过检查被检测物体是否具有相关的雷达目标来进一步过滤假阳性检测。蓝色的检测框表示地面的真值，绿色的检测框表示预测值。（更多细节请见原文）

1.3 实验结果

表1-1 在SemanticSpray数据集上滤波模块嵌入前后的评估结果

表1-2 使用不同方法进行恶劣天气过滤的结果

图1-3 本文方法的可视化结果（其中，第一行为相机视角，第二行为未经处理的SECOND定性结果，第三行代表使用AWNet的结果，浅蓝色为车辆点云，红色为喷雾噪声点）

02 用于鲁棒3D目标检测的LiDAR降雪模拟

论文题目：LiDAR Snowfall Simulation for Robust 3D Object Detection

作者：Martin Hahner，Christos Sakaridis，Mario Bijelic等人

收录期刊（会议）：CVPR 2022

论文链接：https://arxiv.org/pdf/2203.15118.pdf

代码链接：https://github.com/SysCV/LiDAR_snow_sim

2.1 模拟结果

图2-1 模拟结果（左边为晴朗天气，右边为模拟的雨雪天气，动图请转到：https://github.com/SysCV/LiDAR_snow_sim/blob/main/teaser.gif）

本文利用晴天数据，根据模拟算法生成雨雪天气的数据，提高雨雪天气3D目标检测鲁棒性。

2.2 模拟方法

图2-2 LiDAR受雪粒子影响的回波示意图

1. 由于雨雪情况下收集和标注训练样本较为困难，提出模拟降雪的激光束反射模型，扰动真实晴朗天气激光雷达点云数据，生成虚拟的雨雪天气激光雷达数据。

图2-3 雨天地面对LiDAR点云采集的影响

2. 由于降雪经常导致地面潮湿，提出模拟地面湿度下的激光束地面反射模型。扰动晴朗天气的点云数据，生成伪造地面潮湿的点云接受数据。

3. 利用STF数据集（极端天气点云数据集）进行数据的增强，训练鲁棒的检测模型。

2.3 实验结果

图2-4 本文方法的模拟结果

图2-5 基于STF的降雪三维目标检测仿真方法对比结果

03 STF

论文题目：Seeing Through Fog Without Seeing Fog:Deep Multimodal Sensor Fusion in Unseen Adverse Weather

作者：Mario Bijelic，Tobias Gruber，Fahim Mannan等

收录期刊（会议）：CVPR 2020

论文链接：https://arxiv.org/pdf/1902.08913.pdf

代码链接：https://github.com/princeton-computational-imaging/SeeingThroughFog

3.1 动机和贡献

图3-1 大雾天气对目标检测的影响

现有的目标检测方法，如高效的SSD，都是在偏向良好天气条件的车载数据集上进行训练的。虽然这些方法在良好的条件下工作良好，但它们在罕见的天气事件中失效(图3-1)。仅激光雷达探测器，如相同的SSD模型，在投影激光雷达深度上训练，可能会由于雾或雪中严重的反向散射而扭曲。这些不对称扭曲对依赖冗余信息的融合方法构成了挑战。

针对上述挑战，本文做出了以下贡献：

1）引入了一个多模态恶劣天气数据集，包括相机、激光雷达、雷达、近红外和FIR传感器数据。该数据集包含在北欧超过1万公里的驾驶过程中出现的罕见场景，如大雾、大雪和暴雨。

2）提出了一种深度多模态融合网络，它与提案级融合不同，而是由测量熵驱动的自适应融合。

3）在提出的数据集上评估模型，验证它可以推广到看不见的不对称扭曲。在不受天气影响的恶劣环境下，包括轻雾、浓雾、降雪和晴朗天气，该方法的AP比最先进的融合方法高出8%以上，并且可以实时运行。

3.2 数据集

图3-2 本文提出的数据集的采集信息

右图：德国、瑞典、丹麦和芬兰为期两个月、一万公里的数据收集活动的地理覆盖范围。左上：测试车辆安装了顶部安装的激光雷达，带闪光灯照明的门控摄像头，RGB摄像头，雷达，FIR摄像头，气象站和道路摩擦传感器。左下：整个数据采集过程中天气状况的分布。（更多细节请见原文）

3.3 方法

图3-3 本文方法整体架构

整体架构由四个SSD分支组成，具有激光雷达，RGB相机，门控相机和雷达的深度特征交换和自适应融合。所有的感官数据都被投影到相机坐标系统中。为了引导传感器之间的融合，该模型依赖于提供给每个特征交换模块（红色）的传感器熵。深度特征交换模块（白色）与并行特征提取块交换信息（蓝色）。融合后的特征图用SSD块（SSD）进行分析。（更多细节请见原文）

3.4 实验结果

表1 不同恶劣条件下的多种方法目标实验结果比较

04 总结

本文分享的三项工作均为面向恶劣环境的自动驾驶目标检测的研究。

第一篇工作提出了一个检测流程，用于提高基于LiDAR的3D目标检测方法对道路喷雾现象的鲁棒性。

第二篇工作研究了基于LiDAR的降雪条件下三维目标检测数据模拟问题。

第三篇工作提出了一个真实世界中恶劣环境的多模态目标检测数据集，同时提出了一种用于鲁棒融合的深度融合网络。

作者认为，在恶劣天气下，如果只采用单一模态传感器进行环境感知是极不安全的，利用多种模态（相机、LiDAR、Radar、红外相机等）的数据提高检测鲁棒性是克服恶劣天气场景自动驾驶任务的必由之路。