多传感器硬件及融合方法在SLAM中的应用

REF：多源融合 SLAM 的现状与挑战

1. 多传感器融合

传统SLAM方法误差模型简单，对光照不敏感，点云的处理比较容易但重定位能力较差，在动态环境、显著特征过多或过少以及存在部分或全部遮挡的条件下工作时会失败，且受天气、光照影响较大，尤其对于相似的几何环境中工作如长直走廊

00660e5946376039665e3705ef1f8ee3.png

1.1 融合IMU和视觉相机

f9a4f52aac70079fb34bc3136f33adaf.png

IMU 和相机有松耦合和紧耦合两种融合方式，松耦合把 IMU 测量信息和相机图像信息当做两个相对独立的模块分别进行处理，再把二者的估计结果一起进行融合或优化，可能会导致精度缺失；紧耦合直接把相机的图像信息和 IMU 测量信息提供的约束放在一个估计器或优化器中进行求解，一般紧耦合精度更高，但计算量也更大。

0ebfe3e8b60ea1a96e53120c981c13b3.png

1.2 融合IMU和激光雷达 IMU和激光雷达的融合，也可分为松耦合与紧耦合两种融合方式，LOAM作为松耦合代表，定义了逐帧跟踪的边缘与平面 3D 特征点，使用高频率的 IMU 测量对两帧激光雷达之间的运动进行插值，作为先验信息用于特征间的精准匹配；LIPS 作为紧耦合代表，是基于图优化的框架，最小化平面特征之间的距离和 IMU 残差项，使用 IMU 预积分对激光雷达点云做运动补偿并为激光点云的配准提供初值

6da96bbae775398a50a35de18061fdad.png

1.3 融合IMU、视觉相机和激光雷达 激光雷达、相机和 IMU三者融合，也包括松耦合与紧耦合两个方式，松耦合方面，DEMO使用激光雷达的点云深度值为视觉特征点提供深度信息，V-LOAM集成单目特征跟踪与 IMU 测量来为激光雷达扫描匹配提供距离先验信息；紧耦合方面，LIMO将激光雷达测量的深度信息重投影到图像空间，将其与视觉特征相关联，VIL-SLAM直接对 3 种传感器信息进行联合优化，VILENS用因子图优化框架联合优化 3 种传感器，直接提取激光雷达点云中的线面特征

4c71c792b00d99bc86619cf9a80b2f4d.png

1.4 融合其他传感器

除了上述的相机、IMU 和激光雷达的传感器组合融合方式，还有使用卡尔曼滤波器将全景相机、单波束声学高度计、多普勒测速仪、毫米波雷达、WiFi、UWB、超声波距离传感器、轮速计等传感器进行融合。

51c163d61e1437ff85429fa076efc094.png

2. 多特征融合

7ab3652cf03037a301422c4101f225b3.png

2.1 特征点法与直接法

特征点法通过提取和匹配相邻图像(关键)帧的特征点估计对应的帧间相机运动，包括特征检测、匹配、运动估计和优化等步骤；直接法使用像素强度信息，通过最小化光度误差来实现运动估计，利用像素梯度就构建半稠密甚至稠密地图，但是由于图像的非凸性，完全依靠梯度搜索不利于求得最优值，而且灰度不变是一个非常强的假设，单像素没有什么区分度，所以直接法在选点较少时无法体现出其优势

24f66eae6925998536868c036b49149a.png

2.2 融合多种几何特征 对于环境信息比较稀疏的场景，点特征不太使用，可以基于环境中的直线、曲线、平面、曲面及立方体等多维几何特征进行融合，比如激光雷达数据中，线和面特征之间的数据关联比直接使用点特征更为简单。

962e1dd9bc432992ca9ab739009483e8.png

3. 多维度信息融合

78fd630685e2c579d2ba97bcaf2abd3c.png

3.1 融合几何信息与语义信息 几何信息实现机器人定位导航，语义信息可以辅助SLAM系统，提供抽象模型，大部分 RGB-D 相机，基于体素、面元或物体表示，并使用 GPU 加速来实现跟踪或建图

3c1e2b69b373a795a3bf20a8fc3374a1.png

3.2 融合深度学习和传统SLAM方法

当前的深度学习方法在视觉里程计、惯性里程计、视觉惯性里程计和激光里程计等应用中已经实现端到端的方案，包括基于监督学习和无监督学习：

• 基于监督学习：使用卷积神经网络和递归神经网络的组合方式，实现视觉里程计的端到端学习，卷积神经网络完成成对图像的视觉特征提取，递归神经网络则用来传递特征并对其时间相关性建模；用带有深度标签的图像数据集训练深度神经网络来预测图像中每个像素的深度

dfc09df82b127c119295ef3873664392.png

• 基于无监督学习：由一个深度网络和一个位姿网络构成，深度网络用来预测图像的深度图，位姿网络用来学习图像之间的运动变换

eadd7c22307aa8039bf919444a6c342f.png

3.3 融合多种物理信息

利用物理信息辅助 SLAM 任务中位姿估计主要有两类方法，一类方法直接使用传感器测量相应的物理量，如气压、高度和物理接触；另一类方法在没有直接的传感器测量情况下，从背景知识出发间接制定约束条件，如地形和推进力等。