让机器人走向户外-张量无限推出针对户外场景机械臂引导的高精度3D相机

3D相机是机器人的“眼睛”，引导机械臂完成各种动作，是机器人的核心之一。室内场景的机器人被广泛应用于自动化生产线、物流等领域。最近几年，户外场景的各种机器人应用被逐渐挖掘出来，同时也来带了一些急需解决的关键问题：

能稳定应用于室外场景的高精度3D感知系统

能应用于户外场景的机械臂

室内应用可以选择结构光相机，室外场景由于阳光的干扰，这一方案通常会失效。下面是某型号结构光相机阴天中午在室外对典型物体的成像效果，第一张图是RGB图，第二张图为点云。

从点云图可以看出，受到阳光的干扰，基本上无法进行3D成像。

对于3D视觉系统而言，户外场景会面临比室内棘手得多的挑战：

1.复杂的光照条件。包括强阳光的干扰，以及弱光，逆光，阴影等；

2.复杂的气象条件。包括雨、雪、雾等的干扰；

3.极端温度条件。包括高温、低温等；

4.恶劣的工况，包括风沙，机器人底盘等带来的震动等问题。

结构光相机受其主动投射光线原理的限制，室外场景中遇到阳光时会被干扰而无法正确成像。ToF相机在室外面临与结构光相机同样的问题。激光雷达通常是2cm的误差，一般无法满足机械臂引导对精度的要求。其他能用在室外场景的3D相机，都是厘米级或分米级误差，在极端光照条件下成像效果差，且成像不稳定，也达不到机械臂引导的要求。室外场景机器人的机械臂引导，迫切地需要一款能用的3D相机。

张量无限为高精度测量而研发的Tensor1 Pro型3D相机，可以很好地解决该问题，已经在多款户外机器人上得到了成功的应用。目前，在这款相机的基础上，张量无限推出了专门针对户外场景机械臂柔性引导的3D相机套件Tensor Eye，各方面性能均有提升。张量无限以其自创的核心技术路线，在室外场景各种复杂的光照条件下通常能稳定地达到毫米级的3D成像误差（3米距离内拍照）。

这主要得利于自研的AI-ISP算法，确保在各种复杂的光照条件下有清晰的成像效果，很好地保留物体表面的细节；以及原创的基于多光谱NGDF（Neural Geometric Depth Former）的3D重建技术路线，在室外复杂光照、气象条件下可以保证毫米级的3D成像精度，适用范围广，能很好地满足很多机器人对机械臂引导的精度要求。

下面介绍Tensor Eye在室外极端光照条件下对各种典型物体的成像效果，直观的了解这款相机的精度，测试物体涵盖了混凝土、石料、金属、木材、植物、橡胶与塑料等多种常见材质。具体包括：

混凝土砖

混凝土地面

金属电线杆与基座、螺丝

水泥电线杆与基座、螺丝

叉车托盘与货物

水泥与沥青路面

变压器上的电缆

铁路轨道

光伏板

其中，光伏板在2~2.5m的距离拍摄，路面在1.5~5米的距离拍摄，其他物体通常在1.2~1.7m的距离拍摄。

下面是对混凝土砖的成像效果，每一组均由RGB图与点云组成，第一张为RGB图，第二张为点云，后面所有的图像均遵从此规则：

下面是对混凝土/石块地面的成像效果：

下面是对金属电线杆的成像效果：

下面是的电线杆与基座的成像效果：

下面是对叉车托盘与货物的成像效果：

下面是对路面的成像效果：

下面是对变压器电缆的成像效果：

下面是对铁路轨道的成像效果：

下面是对光伏板的成像效果：

Tensor Eye自带算力单元，可以很方便地将深度学习与机器视觉算法集成到相机内部，而无需依赖外置的GPU，以节约用户的成本。相机有配套的3D视觉算法库，包括下面的常见功能：

3D实例分割

物体定位，输出XYZ坐标以及旋转矩阵

手眼联合标定

借助于这些软件和工具，可以快速开发出针对常见应用场景的算法，并完成与机械臂的集成工作。

在过去一年的时间里，张量无限的3D感知技术被成功地应用到多款户外机器人上，实现了量产交付。3D相机以及配套算法经受了极端光照条件、复杂气象条件、恶劣工况下的长时间运行检验，保证了高精度、高稳定性。下面是列举出一些户外机器人应用：

1.光伏清洁机器人。引导机械臂完成对光伏清洁机构的抓取与放置，实现高效的跨板清洁作业。在2.5m距离拍照，定位误差

2光伏铺装机器人。引导机械臂完成对光伏板的吸取和放置，将光伏板精确地铺装到预定的位置上。在3m距离拍照，定位误差

3.户外码垛机器人。包括块状、袋装、管状等物体的码垛。在1.5m距离拍照，定位误差

4.户外装配机器人。引导大型机械臂完成对电线杆、各种金属构件的装配。在1.5m距离拍照，定位误差

5.原木体积测量。通过拍照测量每根原木的直径以及体积，在2.5m距离拍照，直径测量误差1~4mm。

6.公路病害检测。通过拍照识别和测量道路损坏情况，包括坑槽/坑洞、裂缝、沉降、断裂等，在3m距离拍照，测量误差

7.农业除草机器人。通过拍照识别、定位正常的农作物与杂草，在1.2m距离拍照，定位误差

对Tensor系列3D相机产品的进一步了解，可以浏览张量无限的官网：