SLAM算法性能评估方法

ref：On Measuring the Accuracy of SLAM Algorithms

与SLAM方法性能指标相关的研究活动，大致可分为三大类：第一类是竞赛场景，机器人系统需在特定问题情境中展开，例如足球比赛、沙漠导航或搜救行动；第二类是利用公开数据集合，这些数据集专门用于对比算法在具体问题中的表现；第三，使用不同方法和评分指标进行比较。

在基准测试场景中对机器人进行比较是一种直接的方法，可以确定特定的系统属性，比如：

• 瑞士联邦理工学院与国际机器人研究学会：曾发起过多次机器人竞赛来评估清洁机器人的性能；
• 欧洲航天局：模拟火星环境中的机器人；
• RoboCup联合会：足球机器人或灾难救援机器；
• 美国国防高级研究计划局：城市自动驾驶汽车

1. 基于地图对比评估

通过独立创建的CAD数据生成参考地图（这类数据可从土地登记处获取），通过计算欧氏距离和角度差异，并绘制随时间变化的对比曲线，完成生成地图与真实轨迹的对比分析。此外，还可以进行轨迹的标准差和最大误差作为对比依据。 但并非所有情况下通过比较两条轨迹的绝对误差都能得出有效结论，比如下面地图：尽管c/d最右侧地图的质量明显下降，但由于保留了环境拓扑结构（所有门道仍清晰可见）且准确反映了走廊的局部空间布局，其仍适用于机器人导航，该地图具有局部一致性但不满足全局一致性。

22a7c4d0f03c387c8643ad3bb2257781.png

2. 基于机器人的位姿变化评估

聚焦机器人在数据采集过程中的位姿变化，带来两大显著优势：首 它能有效比较生成不同特征地图的算法性能；其次，该方法对机器人传感器布局具有普适性——例如，基于激光测距数据的SLAM算法与视觉驱动的FastSLAM算法的对比结果可直接对照，唯一的要求是SLAM算法需能根据观测点对应的机器人位姿序列，准确推算出其运动轨迹，后续所有基准测试运算都将基于这一轨迹集合进行。

其中N表示相对关系的数量，trans（·）和rot（·）分别用于区分平移和旋转分量并赋予权重，对这两个参数进行独立评估，误差将始终被准确估算为单一旋转误差，无论误差发生在空间中的哪个位置，也不论数据处理顺序如何。使用该指标并选择关系式是两个相关但不同的问题，基于不同相对位移集合评估两种方法时，会产生不同的评分结果。需要说明的是，也可以使用绝对误差（即绝对值而非平方）而非平方误差，选择平方误差是因为该指标的制定初衷在于衡量将估计轨迹转换为真实轨迹所需误差。