双雷达数据集：用于自动驾驶的双雷达多模态数据集

文章：Dual Radar: A Multi-modal Dataset with Dual 4D Radar for Autononous Driving

作者：Xinyu Zhang, Li Wang, Jian Chen, Cheng Fang, Lei Yang, Ziying Song, Guangqi Yang, Yichen Wang, Xiaofei Zhang, Qingshan Yang, Jun Li

编辑：点云PCL

摘要

雷达在自动驾驶环境感知中比采用的摄像头和激光雷达具有更强的适应性，尤其在恶劣环境中。与通常使用的3D雷达相比，最新的4D雷达具有精确的垂直分辨率和更高的点云密度，使其成为自动驾驶在复杂环境感知中的高度有前途的传感器。然而，由于其噪声远高于激光雷达，制造商选择了不同的滤波策略，导致点云密度和噪声水平之间存在直接的关系。目前对于自动驾驶中深度学习感知算法的哪种方法有益的比较分析仍然缺乏。其中一个主要原因是当前的数据集仅采用一种类型的4D雷达，因此难以在相同场景中比较不同类型的4D雷达。因此，本文首次引入一个新颖的大规模多模态数据集，其中同时捕获了两种类型的4D雷达。该数据集可进一步研究有效的4D雷达感知算法。我们的数据集包括151个连续的序列，其中大部分持续20秒，包含10,007帧经过精心同步和标注。此外数据集捕捉了各种具有挑战性的驾驶场景，包括多种道路条件、天气条件，以及不同照明强度和时段的夜间和白天。我们对连续帧进行了标注，可用于3D物体检测和跟踪，同时还支持多模态任务的研究。我们通过实验证实了我们的数据集，为研究不同类型的4D雷达提供了有价值的结果。该数据集已发布在 https://github.com/adeptthu/Dual-Radar。

图1. 实验平台配置以及不同传感器收集的数据的可视化场景。(a) 显示了自动驾驶汽车系统中每个传感器坐标系统的信息。(b)、(c)、(d) 和 (e) 显示了在数据上的3D边界框标注的结果（图像、LiDAR点云、Arbe Phoenix点云、ARS548 RDI点云）。

主要贡献

在表I中，可以观察到每个4D雷达都具有其优势，在不同的工作模式下，4D雷达收集的点云的分辨率和范围是不同的，4D雷达在多种工作模式下具有不同的点云密度和采集范围。

为了验证不同类型的4D雷达在目标检测和目标跟踪任务中的性能，并满足研究人员对4D雷达数据集的需求，我们提出了一个包含两种类型的4D雷达点云的新数据集。我们的提出的数据集采集自高分辨率相机、80线机械LiDAR以及两种类型的4D雷达，即Arbe Phoenix和ARS548 RDI雷达，我们的数据集提供GPS信息以进行时间同步。传感器配置如表IV所示。

收集两种类型的4D雷达点云可以在相同场景中探索不同稀疏级别的点云在目标检测中的性能，这将为该领域的4D雷达研究提供基础。

我们的主要贡献如下：

• 提供了一个包含多模态数据的数据集，包括相机数据、LiDAR点云和两种类型的4D雷达点云。我们的数据集可以研究不同类型的4D雷达数据的性能，有助于研究能够处理不同类型4D雷达数据的感知算法，并可用于研究单模态和多模态融合任务。
• 数据集提供了各种具有挑战性的场景，包括不同的道路条件（城市和隧道）、不同的天气情况（晴天、多云和雨天）、不同的光照强度（正常光和逆光）、不同的时间段（白天、黄昏和夜晚），可用于研究不同场景中不同类型的4D雷达点云的性能。
• 数据集包括151个连续的时间序列，大多数时间序列持续20秒，其中有10,007帧在时间上精心同步，以及103,272个高质量的标注对象。

内容概述

提出的数据集的主要包括自车系统传感器规格，传感器校准，数据集标注，数据收集和分发，以及数据集的可视化。

传感器规格

系统的平台由一台高分辨率相机、一个新型的80线激光雷达以及两种类型的4D雷达组成。所有传感器都经过了校准，相机和激光雷达直接安装在自车的正上方，而4D雷达则安装在自车前部。由于相机和4D雷达的水平视野范围有限，我们只收集了自车前方的数据进行标注。ARS548 RDI在自车前方拥有大约120°水平视野和28°垂直视野，而Arbe Phoenix在中距离模式下拥有大约100°水平视野和30°垂直视野。激光雷达以360°方式收集自车周围的数据，但仅保留前方约120°视野内的数据供标注。

传感器校准

该数据集的校准主要分为相机-激光雷达校准和相机-4D毫米波雷达校准，均采用离线校准进行。对于多模态传感器的校准，有许多现有的相机和激光雷达校准方法。现有的3D雷达校准方法参考了激光雷达的校准并基于3D雷达特性取得了良好的结果。因此，我们获得4D雷达的内参和外参的方法可以参考3D雷达的校准。传感器在自车系统中以激光雷达坐标系的原点为多传感器相对坐标系的原点。我们使用离线校准来轻松获得精确的校准结果，以及选择站点和校准方法的灵活性。

图2.传感器校准的投影可视化

数据集标注

数据集为每个对象提供了3D边界框、对象标签和跟踪ID。我们基于相机和激光雷达点云的时间同步帧进行标注，我们为每个对象提供的3D边界框是从激光雷达点云投影到图像上获得的。我们在注释过程中不区分对象的动态或静态状态，为了同步不同传感器之间的时间戳，我们选择了精密时间协议(PTP)来使用GPS消息定时，使用时间同步设备来对齐多个传感器之间的时间。

数据收集和分发

图3. 不同标签中对象数量的统计

对数据集进行了统计分析，并总结了每个标签的总数，如图3所示。我们呈现了一个扇形图来显示前六个标签的对象数量。"Car"标签略多于总对象数量的50%。我们的大部分数据是在城市条件下的交通路上获得的。因此，大部分标签集中在"Car"、"Cyclist"和"Pedestrian"，选择了这三个标签的对象来验证数据集的性能。还分析了不同天气条件和时间段下的帧数，如图4所示。

图4. 不同天气条件和时段的帧数统计。我们的数据集基于天气条件和时段被分类为八个类别

数据集大约有三分之二是在正常天气条件下收集的，约有三分之一是在雨天和多云天气下收集的。我们在雨天收集了577帧数据，占总数据集的约5.5%。我们收集的雨天数据可用于测试不同4D雷达在恶劣天气条件下的性能。我们还在黎明和夜晚等光线较弱的时间收集了数据，挑战了相机的性能。我们还对不同距离范围内的每个标签的对象数量进行了统计分析，如图5所示。

图5. 不同距离范围内的不同标注对象的统计。结果显示，大多数标注对象位于20米到60米的范围内。约有10%的标注对象位于60米以上的范围

大多数对象在自车的60米范围内。"Bus"、"Truck"和自车之间的距离分布在每个范围内均匀。此外，我们分析了点云的分布密度和每帧的点云数量，如图6所示。

图6. 数据帧中点云数量的统计

数据可视化

通过图7和图8中显示的一些数据进行了可视化。我们使用3D边界框注释对象，并将其映射到图像、激光雷达点云和两种4D雷达点云上。3D边界框很好地适应对象，并准确地描述了点云中的相应点。激光雷达和4D雷达点云上的对象与图像上的对象相对应得很好，证实了良好的同步性。

图7. 在多种场景和传感器模式下表示3D标注。四列分别显示图像、LiDAR点云、Arbe Phoenix和ARS548 RDI雷达点云中3D注释框的投影。每一行代表一个场景类型。(a) 市区白天正常光照；(b) 市区白天逆光；(c) 市区黄昏正常光照；(d) 市区黄昏逆光；(e) 市区晴朗夜晚；(f) 市区白天多云

图8. 在多种场景和传感器模式下表示3D标注。每一行代表一个场景。(g) 市区雨天；(h) 市区多云黄昏；(i) 市区多云夜晚；(j) 市区雨夜；(k) 白天隧道；(l) 夜晚隧道

实验

为了评估我们的数据集，我们进行了单模态实验和多模态实验，使用了几种最先进的基线模型，实验结果如表VI和表VII所示。正如表VI所示，我们数据集中捕获的LiDAR点云具有出色的检测结果，而4D雷达点云具有改进的潜力。在鸟瞰图中，使用LiDAR点云的CasA-V模型的检测准确率分别达到了59.12%（汽车）、49.35%（行人）和50.03%（骑自行车），这表明该数据集中的LiDAR点云能够很好地表示对象信息。

如表VII所示，当M2-Fusion模型融合了LiDAR和4D雷达时，对“汽车”类别的检测表现出巨大的性能提高。在鸟瞰图中，使用图像和LiDAR的VFF模型在“汽车”类别中的检测结果比仅使用LiDAR的CasA-V模型高出25.16%，这表明摄像机可以提供丰富的信息，并在与点云的空间信息融合后表现良好。

比较了在雨天情景下 PointPillars 和 RDIoU 模型的检测性能。如表 VIII 所示，4D 雷达在雨天情景中表现更好。对于“汽车”类别，RDIoU 模型在雷达点云上的检测结果远高于LiDAR点云。RDIoU 模型使用 Arbe Phoenix 雷达点云的 BEV 和 3D 视图检测性能比 LiDAR 高出14.78% 和 10.27%。

总结

本文提出了一个大规模的多模态数据集，包括两种不同类型的4D雷达，可用于自动驾驶中的3D物体检测和跟踪任务。我们在不同情境和天气条件下收集数据帧，这有助于评估不同情境中不同4D雷达性能。它还有助于研究可以处理不同4D雷达点云的传感算法。我们通过最新的基线验证了我们的数据集符合我们的预期需求。我们的数据集适用于当前自动驾驶的感知任务。我们收集的各种恶劣天气条件下的数据没有达到预期。将来，我们将收集更广泛的情景，包括各种恶劣天气条件下的道路。这些数据可以扩大数据集并增强数据集在物体检测和跟踪任务中的泛化能力。特别是在复杂情景下，4D雷达的性能可以得到有效验证，为了在多种情景下表现出色，我们将继续完善数据集的属性，特别是在雨天、雪天和雾天等恶劣天气条件下。

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除