PCL（Point Cloud Library）是在吸收了前人点云相关研究基础上建立起来的大型跨平台开源C++编程库，它实现了大量点云相关的通用算法和高效数据结构，涉及到点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。支持多种操作系统平台，可在Windows、Linux、Android、Mac OS X、部分嵌入式实时系统上运行。如果说OpenCV是2D信息获取与处理的结晶，那么PCL就在3D信息获取与处理上具有同等地位，PCL是BSD授权方式，可以免费进行商业和学术应用。
PCL（PointCloudLibrary）是在吸收了前人点云相关研究基础上建立起来的大型跨平台开源C++编程库，它实现了大量点云相关的通用算法和高效数据结构，涉及到点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。支持多种操作系统平台，可在Windows、Linux、Android、MacOSX、部分嵌入式实时系统上运行。如果说OpenCV是2D信息获取与处理的结晶，那么PCL就在3D信息获取与处理上具有同等地位，PCL是BSD授权方式，可以免费进行商业和学术应用 。
PCL（Point Cloud Library，点云库）是在吸收了前人点云相关研究基础上建立起来的大型跨平台开源 C++ 编程库，它实现了大量点云相关的通用算法和高效数据结构，涉及点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等；支持多种操作系统平台，可在 Windows、Linux、Android、Mac OS X、部分嵌入式实时系统上运行。如果说 OpenCV 是 2D 信息获取与处理的结晶，那么 PCL 就在 3D 信息获取与处理上具有相同的地位。PCL 是 BSD 授权方式，可以免费进行商业和学术应用。
上周点云公众号开启了学习模式，由博主分配任务，半个月甚至一个月参与学习小伙伴的反馈给群主，并在微信交流群中进行学术交流，加强大家的阅读文献能力，并提高公众号的分享效果。在此期待更多的同学能参与进来！
随着新型，低成本的3D传感器硬件的出现（例如Kinect），以及科研人员在高级点云处理研究上的不断努力，3D感知在机器人技术以及其他领域显得愈发重要。
本系列文章首先介绍什么是PCL以及PCL的功能。之后将讲解如何在Linux上安装PCL，为下一步测试、编程、开发做准备。后续的文章将对PCL官网上给出的教程进行解释、编译、调参等辅助学习，期间还会涉及到Linux的一些开发技巧、分享学习心得等。
3D点云特征描述与提取是点云信息处理中最基础也是最关键的一部分，点云的识别。分割，重采样，配准曲面重建等处理大部分算法，都严重依赖特征描述与提取的结果。从尺度上来分，一般分为局部特征的描述和全局特征的描述，例如局部的法线等几何形状特征的描述，全局的拓朴特征的描述，都属于3D点云特征描述与提取的范畴，
这将自动生成一个呈矩形的点云，检测的特征点处在角落处，参数-m是必要的，因为矩形周围的区域观测不到，但是属于边界部分，因此系统无法检测到这部分区域的特征点，选项-m将看不到的区域改变到最大范围读取，从而使系统能够使用这些边界区域。
本文介绍了关于多视图几何、Python语言以及深度学习的相关资料。首先，介绍了多视图几何的相关概念和常用算法，包括旋转矩阵、平移矩阵、投影映射和点云处理等。接着，介绍了Python语言中PCL库的安装方式和示例代码，以及该库在点云处理中的应用。最后，分享了关于深度学习的一些学习资料，包括视频课程和书籍等。希望通过本文的分享，能够对读者在多视图几何、Python语言以及深度学习方面的学习有所帮助。
PCL（Point Cloud Library）是在吸收了前人点云相关研究基础上建立起来的大型跨平台开源C++编程库，它实现了大量点云相关的通用算法和高效数据结构，涉及到点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。支持多种操作系统平台，可在Windows、Linux、Android、Mac OS X、部分嵌入式实时系统上运行。如果说OpenCV是2D信息获取与处理的结晶，那么PCL就在3D信息获取与处理上具有同等地位，PCL是BSD授权方式，可以免费进行商业和学术应用
pcl_ros是一个用于将PCL（点云库）与ROS（机器人操作系统）集成的软件包。它提供了用于在ROS环境中处理和可视化点云数据的工具和功能。
pcl_common中主要是包含了PCL库常用的公共数据结构和方法，比如PointCloud的类和许多用于表示点，曲面，法向量，特征描述等点的类型，用于计算距离，均值以及协方差，角度转换以及几何变化的函数。
包含了用于点云数据估计三维特征的数据结构和功能函数，三维特征是空间中某个三维点或者位置的表示，它是基于点周围的可用信息来描述几何的图形的一种表示。在三维空间中，查询点周围的方法一般是K领域查找。三维空间的特征点物理意义上与图像类似，都是使用一些具有显著特征的点来表示整个点云
点云分割是根据空间，几何和纹理等特征对点云进行划分，使得同一划分内的点云拥有相似的特征，点云的有效分割往往是许多应用的前提，例如逆向工作，CAD领域对零件的不同扫描表面进行分割，然后才能更好的进行空洞修复曲面重建，特征描述和提取，进而进行基于3D内容的检索，组合重用等。
ICP点云配准就是我们非常熟悉的点云处理算法之一。实际上点云数据在形状检测和分类、立体视觉、运动恢复结构、多视图重建中都有广泛的使用。点云的存储、压缩、渲染等问题也是研究的热点。随着点云采集设备的普及、双目立体视觉技术、VR和AR的发展，点云数据处理技术正成为最有前景的技术之一。PCL是三维点云数据处理领域必备的工具和基本技能，这篇文章也将粗略介绍。
上周点云公众号开启了学习模式，由博主分配任务，半个月甚至一个月参与学习小伙伴的反馈给群主，并在微信交流群中进行学术交流，加强大家的阅读文献能力，并提高公众号的分享效果。在此期待更多的同学能参与进来！（目前已经有成员反馈，还有需要小伙伴没有发过来哦，下周开始会将分享整理出来，定期分享，并将文档上传至github组群，已经有部分分享上传至github组群中，供大家下载查看，并且有问题可以在github的issues中提问，大家可以相互提问并解答）
上周点云公众号开启了学习模式，由博主分配任务，半个月甚至一个月参与学习小伙伴的反馈给群主，并在微信交流群中进行学术交流，加强大家的阅读文献能力，并提高公众号的分享效果。在此期待更多的同学能参与进来！（目前已经有成员反馈，下周开始会将分享整理出来，定期分享，并将文档上传至github组群，供大家下载查看，并且有问题可以在github的issues中提问，大家可以相互提问并解答）
标题：Pose Estimation using Local Structure-Specific Shape and Appearance Context
由于LiDAR一次扫描只能得到局部点云信息，为了能获得全局点云信息（如一个房间、一个三维物体），就需要进行多次连续扫描，并进行点云配准。由于每次扫描得到的点云都有独立的坐标系，因此点云配准时要进行坐标变换（旋转、平移），将多帧不同坐标系下的点云整合到一个坐标系下。
A、如何获取你的点云数据（使用什么设备，查找相应设备的介绍，设备的精度、稳定度、抗噪能力、数据的可视深度范围等，采用无标记点融合，或标记点融合；要考虑多帧数据之间的旋转角度）；
在获取点云数据时 ，由于设备精度，操作者经验环境因素带来的影响，以及电磁波的衍射特性，被测物体表面性质变化和数据拼接配准操作过程的影响，点云数据中讲不可避免的出现一些噪声。在点云处理流程中滤波处理作为预处理的第一步，对后续的影响比较大，只有在滤波预处理中将噪声点 ，离群点，孔洞，数据压缩等按照后续处理定制，才能够更好的进行配准，特征提取，曲面重建，可视化等后续应用处理，PCL中点云滤波模块提供了很多灵活实用的滤波处理算法，例如：双边滤波，高斯滤波，条件滤波，直通滤波，基于随机采样一致性滤波， PCL中点云滤波的方案 PCL中总结了几种需要进行点云滤波处理情况，这几种情况分别如下： （1） 点云数据密度不规则需要平滑 （2） 因为遮挡等问题造成离群点需要去除 （3） 大量数据需要下采样 （4） 噪声数据需要去除 对应的方案如下： （1）按照给定的规则限制过滤去除点 （2） 通过常用滤波算法修改点的部分属性 （3）对数据进行下采样 双边滤波算法是通过取临近采样点和加权平均来修正当前采样点的位置，从而达到滤波效果，同时也会有选择剔除与当前采样点“差异”太大的相邻采样点，从而保持原特征的目的
之前在微信公众号中更新了以下几个章节 1，如何学习PCL以及一些基础的知识 2，PCL中IO口以及common模块的介绍 3, PCL中常用的两种数据结构KDtree以及Octree树的介绍
在这篇文章将介绍如何使用CUDA-PCL处理点云来获得最佳性能，由于PCL无法充分利用Jetson上的CUDA，NVIDIA开发了一些具有与PCL相同功能的基于CUDA的库。代码地址：https://github.com/NVIDIA-AI-IOT/cuPCL.git（只有动态库和头文件，作者说源码将在未来开源）。
由于项目涉及点云目标识别和定位等相关内容，因此开始接触基于PCL的三维点云处理。对于PCL，官方解释是：PCL（Point Cloud Library，点云库）是吸收了前人点云相关研究的基础上建立起来的大型跨平台开源C++编程库，它实现了大量点云相关的通用算法和高效数据结构，涉及点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。本系列文章主要记录关于PCL点云库的学习过程。
我对点云模块了解得也不算深入，此处单纯地想和大家分享一下这几天我所学习到的点云滤波知识，如有不到之处，还请后台留言多多指正。
http://www.pointclouds.org/documentation/tutorials/#filtering-tutorial 每个模块点击进去后，有demo可以查看
首先rgbdslamv2 是2014年开源出来的一个机遇RGBD相机构建点云地图的框架【1】，作者已经在github上开源出了代码【2】，并且给出了一个一键安装的脚本（install.sh）。但是我们会发现，我们直接运行这个install脚本会在~/Code目录下创建一个rgbdslam_catkin_ws 工作空间，然后我们按照传统的catkin_make命令进行编译会发现代码直接编译通过,，不会提示任何错误信息，但是在使用命令
本文介绍的是另一种比较好的配准算法，NDT配准。所谓NDT就是正态分布变换，作用与ICP一样用来估计两个点云之间的刚体变换。用标准最优化技术来确定两个点云间的最优的匹配，因为其在配准过程中不利用对应点的特征计算和匹配，所以时间比其他方法快。
将多个数据集合并成一个全局一致的模型通常使用一种称为"配准"的技术来完成。其关键思想是识别数据集之间的对应点，并找到一个最小化对应点之间距离的变换关系。由于对应点的查找受到数据集的相对位置和方向的影响，因此需要重复这个过程。一旦最小化误差降到给定的阈值以下，就可以说完成了配准。pcl_registration库实现了众多点云配准算法，适用于有序和无序点云的数据集。
PCLVisualizer可视化类是PCL中功能最全的可视化类，与CloudViewer可视化类相比，PCLVisualizer使用起来更为复杂，但该类具有更全面的功能，如显示法线、绘制多种形状和多个视口。本小节将通过示例代码演示PCLVisualizer可视化类的功能，从显示单个点云开始。大多数示例代码都是用于创建点云并可视化其某些特征
PDAL是点云数据处理的库。这是一个C/C++开源库，用于点云数据的转换和处理。尽管该库中许多工具的重点和发展都起源于激光雷达点云数据的处理，但它也不限于激光雷达数据。
关键点也称为兴趣点，它是2D图像或是3D点云或者曲面模型上，可以通过定义检测标准来获取的具有稳定性，区别性的点集，从技术上来说，关键点的数量相比于原始点云或图像的数据量减小很多，与局部特征描述子结合在一起，组成关键点描述子常用来形成原始数据的表示，而且不失代表性和描述性，从而加快了后续的识别，追踪等对数据的处理了速度，故而，关键点技术成为在2D和3D 信息处理中非常关键的技术
小白：师兄，上次你讲了点云拼接后，我回去费了不少时间研究，终于得到了和你给的参考结果差不多的点云，不过，这个点云“可远观而不可近看”，放大了看就只有一个个稀疏的点了。究竟它能干什么呢？ 师兄：这个问题嘛。。。基本就和SLAM的作用一样，定位和建图 小白：定位好理解，可是师兄说建图，这么稀疏的地图有什么用呢？ 师兄：地图分很多种，稀疏的，稠密的，还有半稀疏的等，你输出的这个稀疏的地图放大了看就是一个个离散的空间点，不过我们可以把它变成连续的稠密的网格，这个过程也叫点云的网格化 小白：哇塞，听起来好高大上呢，具体怎么做呢？ 师兄：点云网格化需要对点云进行一系列处理，今天我们先说说点云处理流程的第一步，叫做点云滤波
已知点云P中有n个点，那么它的点特征直方图（PFH）的理论计算复杂度是，其中k是点云P中每个点p计算特征向量时考虑的邻域数量。对于实时应用或接近实时应用中，密集点云的点特征直方图（PFH）的计算，是一个主要的性能瓶颈。此处为PFH计算方式的简化形式，称为快速点特征直方图FPFH（Fast Point Feature Histograms）
基于欧式距离的分割和基于区域生长的分割本质上都是用区分邻里关系远近来完成的。由于点云数据提供了更高维度的数据，故有很多信息可以提取获得。欧几里得算法使用邻居之间距离作为判定标准，而区域生长算法则利用了法线，曲率，颜色等信息来判断点云是否应该聚成一类。
在逆向工程，计算机视觉，文物数字化等领域中，由于点云的不完整，旋转错位，平移错位等，使得要得到的完整的点云就需要对局部点云进行配准，为了得到被测物体的完整数据模型，需要确定一个合适的坐标系，将从各个视角得到的点集合并到统一的坐标系下形成一个完整的点云，然后就可以方便进行可视化的操作，这就是点云数据的配准。点云的配准有手动配准依赖仪器的配准，和自动配准，点云的自动配准技术是通过一定的算法或者统计学规律利用计算机计算两块点云之间错位，从而达到两块点云自动配准的效果，其实质就是把不同的坐标系中测得到的数据点云进行坐标系的变换，以得到整体的数据模型，问题的关键是如何让得到坐标变换的参数R（旋转矩阵）和T（平移向量），使得两视角下测得的三维数据经坐标变换后的距离最小，，目前配准算法按照过程可以分为整体配准和局部配准，。PCL中有单独的配准模块，实现了配准相关的基础数据结构，和经典的配准算法如ICP。
关于点云的分割算是我想做的机械臂抓取中十分重要的俄一部分，所以首先学习如果使用点云库处理我用kinect获取的点云的数据，本例程也是我自己慢慢修改程序并结合官方API 的解说实现的，其中有很多细节如果直接更改源程序，可能会因为数据类型，或者头文件等各种原因编译不过，会导致我们比较难得找出其中的错误，首先我们看一下我自己设定的一个场景，然后我用kinect获取数据
关于PCL在ros的数据的结构，具体的介绍可查 看 wiki.ros.org/pcl/Overview
首先通过pcl::VoxelGrid (filters)先对点云数据进行下采样滤波； 然后通过pcl::SACSegmentation<pcl::PointXYZ> seg; (segmentation)创建Nodelet样本细分类别； 然后通过 pcl::ExtractIndices<pcl::PointXYZ> extract;(filters)提取索引； 最后通过pcl::EuclideanClusterExtraction<pcl::PointXYZ> ec; 生成欧式聚类对象 (segmentation)。
在测量较小的数据时会产生一些误差，这些误差所造成的不规则数据如果直接拿来曲面重建的话，会使得重建的曲面不光滑或者有漏洞，可以采用对数据重采样来解决这样问题，通过对周围的数据点进行高阶多项式插值来重建表面缺少的部分，
正如点特征表示法所示，表面法线和曲率估计是某个点周围的几何特征基本表示法。虽然计算非常快速容易，但是无法获得太多信息，因为它们只使用很少的几个参数值来近似表示一个点的k邻域的几何特征。然而大部分场景中包含许多特征点，这些特征点有相同的或者非常相近的特征值，因此采用点特征表示法，其直接结果就减少了全局的特征信息。那么三维特征描述子中一位成员：点特征直方图(Point Feature Histograms)，我们简称为PFH，从PCL实现的角度讨论其实施细节。PFH特征不仅与坐标轴三维数据有关，同时还与表面法线有关。
我是来自某大学本科，刚打完一个关于机器人的比赛，简单来说我在里面是负责识别一排矩形物体，返回最近的一个长方体并返回其相对于深度相机的三维坐标和角度。因为要使机器人运动，所以相对于机器人的角度信息也是必要的。
点云配准的目标是根据原始点云和目标点云，通过配准求出变换矩阵，即旋转矩阵R和平移矩阵T，并计算误差，来比较匹配结果。主要有以下几种比较
除去NARF这种和特征检测联系比较紧密的方法外，一般来说特征检测都会对曲率变化比较剧烈的点更敏感。Harris算法是图像检测识别算法中非常重要的一个算法，其对物体姿态变化鲁棒性好，对旋转不敏感，可以很好的检测出物体的角点。甚至对于标定算法而言，HARRIS角点检测是使之能成功进行的基础。
三维图像是一种特殊的信息表达形式，其特征是表达的空间中三个维度的数据。和二维图像相比，三维图像借助第三个维度的信息，可以实现天然的物体-背景解耦。除此之外，对于视觉测量来说，物体的二维信息往往随射影方式而变化，但其三维特征对不同测量方式具有更好的统一性。与相片不同，三维图像时对一类信息的统称，信息还需要有具体的表现形式。其表现形式包括：深度图（以灰度表达物体与相机的距离），几何模型（由CAD软件建立），点云模型（所有逆向工程设备都将物体采样成点云）。可见，点云数据是最为常见也是最基础的三维模型。点云模型往往由测量直接得到，每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量。然而，这些信息隐藏在点云中需要以其他提取手段将其萃取出来，提取点云中信息的过程则为三维图像处理。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
从深度图像中提取边界（从前景跨越到背景的位置定义为边界），对于物体边界：这是物体的最外层和阴影边界的可见点集，阴影边界：毗邻与遮挡的背景上的点集，Veil点集，在被遮挡物边界和阴影边界之间的内插点，它们是有激光雷达获取的3D距离数据中的典型数据类型，这三类数据及深度图像的边界如图：
由于全卷积网络（Fully Convolutional Network, FCN）架构的快速发展，深度学习在语义分割方面取得了里程碑式的进展。大多数方法采用全监督学习方案，需要大量带注释的数据进行训练。尽管它们可以实现良好的性能，但它们数据饥渴的性质需要大量的像素级图像标注。 为了缓解这一问题，特斯联首席科学家邵岭博士及团队，提出了一个用于小样本语义分割的框架，在给定少量像素级标注的支持集（Support）图像的情况下，分割查询集（Query）图像中的目标物体。相关研究成果已于2022年CVPR发表，题为《
（2）使用ConditionalRemoval 或RadiusOutlinerRemoval移除离群点
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
