逐点卷积神经网络

泡泡图灵智库，带你精读机器人顶级会议文章

标题：Pointwise Convolution Neural Networks

作者：Binh-Son Hua, Minh-Khoi Tran, Sat-Kit Yeung

来源：CVPR 2018

播音员：包子

编译：潘越

审核：汤文俊

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

大家好，今天为大家带来的文章是——逐点卷积神经网络，该文章发表于CVPR 2018。

近来，针对点云重建模型和CAD模型等三维模型的深度学习越来越火。然而，用卷积神经网络来处理点云数据的可能性还没有被深入探讨过。本文中，提出了一种为三维语义分割与目标识别设计的逐点卷积神经网络。本文网络的核心是一种新的能够对点云中每个单点进行操作的逐点卷积算子。本文的全卷积网络设计，在容易实现的同时，还能够在语义分割和目标识别上得到具有竞争力的结果。

介绍

目前针对点云的卷积方法主要有：

1.以VoxNet为代表的体素卷积，优点是直观自然且易延用图像处理的算法，缺点是有大量零值体素，较耗内存。

2.以PointNet为代表的点云网络，该方法由于点云的非规则性而较不自然。

针对这些方法的优劣势，本文提出一种逐点卷积神经网络，其主要贡献有：

1.设计了一种可以输出点云中每一点特征的逐点卷积算子

2.构建了针对场景语义分割和目标识别的两个逐点卷积神经网络

算法流程

图1 逐点卷积示意图

如图1所示，定义了一种新式点云卷积算子，对每个点，查找其近邻点并格网化进卷积核的子域中，然后按核权重进行卷积。卷积如下式所示。其中k在核所支持的所有子域上进行迭代，pi是第i个点的坐标，|·|代表子域内的点个数, wk是第k个子域的核权重，l-1和l是输入与输出层的序数。

图2 逐点卷积神经网络架构

定义了卷积核后，可构建神经网络。如图2所示，输入点云被送入各个卷积算子，经过多层卷积后经过一个级联层，输出到用于密集语义分割的最终卷积层或用于目标识别的全连接层。

主要结果

本文在语义分割和目标识别两方面评估该逐点卷积网络的性能，在几个常见数据集上进行测试，并与几个State-of-art算法进行比较。

图3 逐点神经网络在S3DIS数据集上语义分割的表现

在语义分割方面，该方法在S3DIS上与PointNet比较。结果如下表所示，本文方法可达到与PointNet相差不大的结果。

图4 逐点神经网络在SceneNN数据集上语义分割的表现

随后，再在SceneNN数据集上与VoxNet 以及SemanticFusion比较，如下表所示，可见本文提出方法更优。

在目标识别方面，在ModelNet40和ObjectNN两个数据集上进行比较评估。本文提出的方法在结构极简的情况下仍能取得与PointNet与PointNet++基本相当的精度。ModelNet40上目标识别结果如下表所示。

ObjectNN上目标识别结果如下表所示。

Abstract

Deep learning with 3D data such as reconstructed pointclouds and CAD models has received great research interestsrecently. However, the capability of using point cloudswith convolutional neural network has been so far not fullyexplored. In this paper, we present a convolutional neuralnetwork for semantic segmentation and object recognitionwith 3D point clouds. At the core of our network is pointwiseconvolution, a new convolution operator that can beapplied at each point of a point cloud. Our fully convolutionalnetwork design, while being surprisingly simple toimplement, can yield competitive accuracy in both semanticsegmentation and object recognition task.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。