3D实例分割

原创技术文章，第一时间获取

SIGAI特约作者

岳麓青年

博士

3D实例分割

3D语义分割区分场景中各类对象，3D实例分割区分场景中各类别中的各种个体。近两年来，3D实例分割的关注度越来越高，相应的方法也被接连提出。众多方法的思想主要分为两类：基于候选区域的实例分割（proposal-based）和免候选区域的实例分割（proposal-free）。其中，proposal-based先获取场景中的感兴趣的候选区域，如：3D bounding boxes等，并在候选区域内对3D数据进一步预测得到实例标签。考虑到proposal-based 实例分割通常需要2个过程（先得到候选区域，再实例分割），分割过程繁琐，则proposal-free则摒弃了基于候选区域的方式，直接通过数据特征或者结合语义分割结果，得到实例分割结果。下面根据这两个方向总结现有的实例分割方法。

（一） proposal-based

[1] GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud _ Li Yi

本文思路：

先通过GSPN得到目标候选区域（object proposal），在利用R-PointNet 细化proposal得到实例分割结果。

创新点：

GSP&R-PointNet

介绍：

一种得到候选区域的办法就是简单估计物体的近似几何形状，比如3D bounding boxes，但是bounding boxes不太需要对底层对象的几何结构有很强的的理解，这可能导致boxes中包含了多物体或者单个物体的部分，本文采用analysis-by-synthesis策略，从含有噪音的场景中重建出外形得到 object proposals。另外，R-PointNet很像2D图像领域的Mask-RCNN，包含了候选区域提取和候选区域分类， R-PointNet能直接处理点云数据并给予目标候选区域得到实例标签。

[2] SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation _ Weiyue Wang

本文思路：

通过计算点云的相似矩阵（similarity matrix）和对应的置信值（confidence map）得到候选区域（group proposals），并结合语义分割结果得到实例标签

创新点：

新的候选区域方法（similarity matrix + confidence map）

介绍：

本网络利用PointNet/PointNet++来提取点云的特征，然后在这些点云特征上操作分类，后端有三个模块：similarity matrix， confidence map 和sematic map，三者的作用不用。其中，similarity matrix 的作用是计算group proposals 直接获取精确的实例分割结果，confidence map即置信区间，加入置信值，起到优化的作用；semantic map 的作用是充当逐点分类器的作用。

[3] 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans _ Ji Hou

本文思路：

先目标检测得到proposal，再在propoasl中mask prediction得到实例分割结果

创新点：

结合了2D和3D数据的特征，框架新颖。

介绍：本文思想比较简单。通过神经网络学习RGB和点云特征（这里的点云是通过RGBD中的深度信息恢复得到，并不是雷达点云），将通过2D卷积网络提取得到2D特征，反投影到对应的3D场景网格上，2D和3D特征的融合能够很大程度上提高proposal 获取的精度。在proposal中进一步预测得到实例标签。

[4] Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds _ Bo Yang

本文思路：

先获bounding box，再mask prediction

创新点：

计算效率高

介绍:

本文提出了3D-BoNet网络，遵循了逐点的多层感知机的简单基本原理，该网络对所有实例个体进行3D bounding box的回归， 同时对每个实例个体的点云进行逐点mask预测。本网络包括两个并行的网络，1）边界框回归和2）点云mask预测。亮点就是计算效率高，不需要任何的后处理过程。（这个论文思想就是站在巨人肩膀上，利用现有网络得到全局和局部特征，后续的的proposal和prediction就很简单了）

（二） proposal-free

[1] 3D Instance Segmentation via Multi-task Metric Learning_Jean Lahoud

本文思路：

直接获得数据的特征，直接实例分割

创新点：

一种可获取数据的两种主要特征的算法

介绍:

不像传统的实例分割方法的思想：用语义标签提升实例标签。本文的技术通过聚类方法专注于实例标签。本网络将语义信息作为局部线索从中获得便利，另外将3D维度信息和3D联系纳入其中。本文的亮点在于提出了一种算法，该算法可以直接处理3D网格并学习得到两类主要的特征：针对每一个实例对象的独有的特征描述；指向实例对象中心的方向。（基于SSCNet这个网络框架改进的，大家可以重点关注一下这个网路，在ScanNet数据集中，SSCNet网路的语义分割结果评比第二）

[2] Associatively Segmenting Instances and Semantics in Point Clouds_xinlong wang

本文思路：

通过实例分割和语义分割相互提升分割精度

创新点：

ASIS

介绍:

实际情况下，实例分割和语义分割的目的是不同的，前者在同一类中精确区分不同的个体，后者是将它们赋予同一个标签。然而，两种任务之间是可以相互合作共赢的，语义分割将点云按不同类别区分，这仅仅是实例分割的一个目标（不同类别的点云一定属于不同个体的）。实例分割对同一实例个体赋予同一标签，这与语义分割是保持一致的（同一个体的点云一定属于同一类别）。本文利用这层关系实现两种任务的共赢。并设计了ASIS模块，实现精度的相互提升。

[3] JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields_Quang Hieu Pham

本文思路：

通过网络获取语义标签和实例标签，通过后续优化融合两种标签，达到共赢（和上文的不同在于，一个在前端融合，一个在后端融合）

创新点：

MT-PNet+MV-CRF

介绍:

本文提出了一种多任务逐点处理的网络，同时实现两种任务：预测点云的语义类别；将点云转换为高维向量，致使相同实例的点云有着近似的表达。另外，本文提出了多值条件随机场去协调语义和实例标签。（语义分割和实例分割，这两个问题通常被单独处理，实例分割是语义分割的后续处理步骤，然而，两者之间是相互作用的，对于实例分割，实例的外形和容貌特征提取有助于区分物体种类，另一方面，不同类别的点云是不可能属于同一个实例的。这篇文章和上面有一篇论文很像。）

[4] MASC: Multi-scale affinity with Sparse Convolution for 3D Instance Segmentation Technical Report_Chen Liu

本文思路：

基于语义分割结果，实现实例分割

创新点：

多尺度的数据的关联性预测

介绍:

文章利用U-Net和submanifold sparse convolutions卷积处理整个室内场景点云，对每个点类别预测（语义分割）。另外，对不同尺度下相邻体素之间的关联性预测，结合语义标签，利用简单而有效的聚类算法得到点云的实例标签。

[5]3d graph embedding learning with a structure-aware loss function for point cloud semantic instance segmentation_Zhidong Liang

本文思路：

语义分割和实例分割结合

创新点：

新颖的损失函数

介绍:

利用SSCNet得到语义标签和实例标签，并在该网络后增加GCN网络，对实例分割结果细化。

[6]3D Bird’s-Eye-View Instance Segmentation_Cathrin Elich

本文思路：

语义分割和实例分割结合

创新点：

2D和3D结合

介绍:

本文的有点在于展现了2D和3D结合的网络框架用于联合语义和实例分割；同时展现了如何实现规则的2D特征和不规则的3D点云特征的融合。

注：补充网络（来源于ScanNet）

Occipital-SCS:

DPC-instance

Seg-cluster

MaskRCNN proj.

参考文献

Proposal-based

[1] Yi L , Zhao W , Wang H , et al. GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud[J]. 2018.

[2] Wang W , Yu R , Huang Q , et al. SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation[J]. 2017.

[3] Hou J , Dai A , Nießner, Matthias. 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans[J]. 2018.

[4] Yang B , Wang J , Clark R , et al. Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds[J]. 2019.

Proposal-free

[1] Lahoud J , Ghanem B , Pollefeys M , R.Oswald M. 3D Instance Segmentation via Multi-task Metric Learning[J]. 2019.

[2] Wang X , Liu S , Shen X , et al. Associatively Segmenting Instances and Semantics in Point Clouds[J]. 2019.

[3] Pham Q H , Nguyen D T , Hua B S , et al. JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields[J]. 2019.

[4] Liu C , Furukawa Y . MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation[J]. 2019.

[5] Liang Z , Yang M , Wang C . 3D Graph Embedding Learning with a Structure-aware Loss Function for Point Cloud Semantic Instance Segmentation[J]. 2019.

[6] Elich C , Engelmann F , Kontogianni T , Leibe B. 3D-BEVIS: Bird's-Eye-View Instance Segmentation[J]. 2019

记得点击右下角“好看”