HDMapNet：高精度语义地图的动态构建

编辑丨算法邦

今天和大家分享工作的是自动驾驶中高精度语义地图的动态构建。内容主要是解读我们组最新的论文HDMapNet: A Local Semantic Map Learning and Evaluation Framework。

01

什么是高精地图？

高精地图提供了精准的、综合的道路几何与语义信息，是其他自动驾驶模块（如定位、感知、预测和规划）不可或缺的一部分。

02

高精地图提供了哪些要素？

高精地图通常包含两部分，第一部分是影像地图（Imagery Map），主要包括3D雷达点云、反射率、高度、斜率等物理信息。第二部分是语义地图（Semantic Map），主要提供了丰富的标注信息，如道路的向量化表示、类型（车道、自行车道或公交车道）、速度限制、车道线类型（虚线、实线、双实线）等等。那么在本文中，我们主要关注语义地图的构建，因为它是被自动驾驶任务所用到的部分。

03

高精地图是怎样生成的？

高精地图的生成涉及到了定位、融合、检测、标注等复杂的流程。在生成高精地图之后，还需要不时地对其进行更新，以适应路况信息的变化。

高精度地图的生成流程

04

那么高精地图能做什么呢？

高精地图提供了：

• 精准的定位
• 超出相机视觉范围的感知能力
• 实时的计算能力

举例来说， 高精地图可以提供精确的路标/路灯的3D位置，从而使得自动驾驶汽车不需要对其进行检测和识别。

道路信息位置的精确标注

05

HDMapNet

虽然高精地图能够提供丰富的信息，但标注、 维护高精地图需要耗费大量的人力和资源，因而限制了其的可拓展性。为此，我们提出了一种使用车载传感器（相机 and/or 雷达）来动态构建局部高精地图的方法HDMapNet。

要想使用车载传感器进行高精地图构建，主要需要解决2个问题：道路预测向量化和从相机前视图到鸟瞰图的视角转换。

向量化（Vectorization）是指我们最终得到的地图信息不是图片形式的，而是用点、线、框等几何形状表示的，这种表示在地图的下游任务使用、存储等方面都有巨大优势。HDMapNet的decoder输出3个分支：语义分割semantic segmentation、实例分割instance embedding、方向预测direction prediction。然后通过后处理的手段来将这些信息处理成向量化的道路表达。

至于从相机前视图到鸟瞰图视角转换，由于没有图片上每个像素点的深度信息，我们无法简单地利用几何投影将图像投回到鸟瞰视角。一种做法是假设地面高度全部为0，直接通过Inverse Perspect Mapping[3]来进行投影。但因为地面会有倾斜，再加上车的颠簸，我们并不能保证车道线被正确的投影到鸟瞰视角。Lift-Splat-Shoot[4] 很巧妙的利用attention的方式端到端地学了一个深度，但是因为没有显式的深度作为监督，所以实际的性能并不是很好。在这里，我们参考了VPN[5]的做法，使用全连接网络来让network自己学习如何进行视角的变换。与其不同的是，我们显式地使用了相机外参来将从不同相机抽取的特征拼接到鸟瞰视角，从而提升了特征在鸟瞰视角的分辨率。

此外，我们还提出了semantic level和instance level结果的评价方式，以方便对semantic HD map的构建进行评价，这里就不赘述了。

我们也可以对HDMapNet的输出进行时序融合，构建出一个随着车的行进不断扩展的高精地图，如下图所示。是不是很有意思！

06

参考

1. Machine Learning Assisted High-Definition Map Creation https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8377682
2. HDMapNet: A Local Semantic Map Learning and Evaluation Framework https://arxiv.org/abs/2107.06307
3. Inverse Perspective Mapping https://csyhhu.github.io/2015/07/09/IPM/
4. Lift, Splat, Shoot: Encoding Images from Arbitrary Camera Rigs by Implicitly Unprojecting to 3D https://nv-tlabs.github.io/lift-splat-shoot/
5. Cross-view Semantic Segmentation for Sensing Surroundings https://view-parsing-network.github.io/
6. nuScenes 数据集 https://www.nuscenes.org/

本文仅做学术分享，如有侵权，请联系删文。