常用的3种点云数据表示

三维目标检测常用数据模态为图像和点云，图像可直接作为 CNN 的输入，由于点云的稀疏性和不规则性，二维检测中研究成熟的 CNN 不能直接用于处理点云，并且点云的表示形式直接影响模型的性能。因此，本节介绍点云数据的表示形式。目前，常用的表示方式主要有 3 种：点表示形式、体素表示形式、图表示形式。

01 点表示形式

点云是指获取物体表面每个采样点的空间坐标形成的点的集合。用于三维目标检测的点云通常由激光雷达扫描得来，包含点的三维坐标、强度等信息，数据表示形式如图 1 所示。

点表示形式直接对点云进行处理，即采用最原始的点作为输入，这种表示形式通常基于PointNet 网络，骨架网由点编码层和点解码层构成，编码层下采样提取语义信息，解码层将采集的语义信息传递给未采样的点，使其具备特征信息，从而保证全部的点都包含特征信息.最后基于这些点得到候选框。典型方法如 F-PointNet (Frustum-PointNet)、Point RCNN等。

点表示方法因为使用最原始的点云数据，保留最丰富细致的信息，在所有方法中输入信息损失最小。但是，点表示方法需要处理的数据量较大，运行速度较慢，并且一般使用多层感知器，感知能力较差。

▲ 图 1 点云数据示意图

02 体素表示形式

体素是体积元素的简称，是数字数据在三维空间分割上的最小单位，类似于二维空间的最小单位像素，数据表示形式如图2所示。

体素表示形式将点云转化为规则的体素形式，对点云进行处理。点云体素化首先需要设置参数，包括体素大小及每个体素可容纳的点云数量。然后依次根据坐标得到每点在体素的索引，并根据索引判断此体素种类是否已达到设置的最大值。若达到，丢弃此点；未达到，保留。最后提取体素特征，进行回归预测。基于体素的典型方法包括：VoxelNet( Voxel Network)、Voxel-FPN(Voxel-FeaturePyramid Network)等。

▲ 图 2 体素表示形式示意图

基于体素的方法不仅性能较优，计算速度也较可观，尤其是稀疏卷积的发展，促进体素方法的应用。但是，基于体素的方法受设置参数的影响，不可避免地丢失一部分点云信息。

03 图表示形式

Shi等提出图表示形式，如图3所示。核心在于构建图神经网络，再通过图卷积进行特征提取。图神经网络的计算费时，对于应用是一个严重限制。但是图表示方法能较好地适应点云的不规则性，并且可得到更多局部信息，因此是一种有发展潜力的点云数据表示形式。

▲ 图 3 图表示形式示意图

除上述 3 种表示形式以外，还有将点云投影为二维鸟瞰图、点云与体素混合等方式。与点云不同，图像的表示形式较单一。图像和点云作为两种常见的数据模态，各有优缺点：图像可提供丰富的纹理，但缺乏深度信息，对光照要求较高；点云可提供深度信息但较稀疏：两者的具体差异如表1所示。

▲ 表 1 图像和点云的差异性

大体上，基于点云的三维检测方法精度高于基于图像的三维检测方法。在造价方面，激光雷达(LiDAR)价格远高于摄像机，这是研究基于图像的三维检测方法的一个重要原因。学者们关注图像和点云融合方法，以期达到更好的检测效果。

王亚东, 田永林, 李国强, 王坤峰, 李大字. 基于卷积神经网络的三维目标检测研究综述[J]. 模式识别与人工智能, 2021, 34(12): 1103-1119