【SLAM】开源 | 利用关联嵌入实现单图像分段平面的3D重建

获取完整原文和代码，公众号回复：1902.09777

论文地址： https://arxiv.org/pdf/1902.09777.pdf

代码： 公众号回复：1902.09777

来源： 上海科技大学, 宾夕法尼亚州立大学

论文名称：Single-Image Piece-wise Planar 3D Reconstruction via Associative Embedding

原文作者：Zehao Yu

内容提要

单图像平面分段3D重建的目的是从图像中同时分割平面实例和恢复3D平面参数。最近的一些方法利用了卷积神经网络(CNNs)，取得了令人满意的结果。然而，这些方法仅限于以一定的学习顺序检测固定数量的平面。为了解决这一问题，我们提出了一种基于关联嵌入的两阶段方法，该方法最近在实例分割方面取得了成功。在第一阶段，我们训练一个CNN，将每个像素映射到一个嵌入空间，其中来自同一平面实例的像素具有相似的嵌入空间。然后，通过一种有效的均值漂移聚类算法将嵌入向量在平面区域进行分组，得到平面实例。在第二阶段，我们通过考虑像素级和实例级一致性来估计每个平面实例的参数。利用该方法，我们可以检测任意数量的平面。在公共数据集上的大量实验验证了该方法的有效性和效率。此外，我们的方法在测试时以每秒30帧的速度运行，因此可以促进许多实时应用，如视觉SLAM和人机交互。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请加上文微信联系删除。