干货！库柏特张少华博士《机器人视觉-从学术研究到工业落地》

前言

相信大家通过RobertDowney Jr.饰演的《钢铁侠》，《中国澳门风云三》中的“傻强”和Hugh Jackman主演的《铁甲钢拳》，对机器人都有一定的了解，会认为电影中的机器人是虚幻的，人性化的、不可能实现的。但是，正是凭借这种大胆的想象、实践和努力，我们生活中的机器人正在与电影中的梦幻机器人一步步接近。

2018年5月30日机器人大讲堂特邀武汉库柏特首席视觉科学家张少华博士为我们分享了《机器人视觉－从学术研究到工业落地》的研究报告。

嘉宾介绍：张少华 博士

武汉库柏特科技有限公司，首席视觉科学家，从事计算机视觉研究和应用11年，在机器视觉领域由较强的经验，作为库柏特视觉技术负责人，攻克了多个技术难点，将先进的视觉技术落地到食品、3C等行业应用场景中。

张博士主要从机器人视觉的定义、机器人视觉机会和挑战、机器人视觉学术和技术研究现状、机器人视觉的工业落地现状以及机器人视觉发展方向展望等为我们带来了精彩分享。

一、什么是机器人视觉？

机器人本身是一个动作主体，在现实的物理世界中做动作，而且与现实的物理世界交互。而机器人视觉就是要这个机器符合一定的人性化，更像机器“人”的技术，我们大家都知道，如果机器人没有视觉感知，只能在结构化的环境做固定的动作，他的功能和柔性大大地受到限制。

1. 机器人视觉主要包含了以下四个方面

1）传感，要在任何条件下看到外部的世界；

2）理解，机器人只是看到是不够的，他必须还要去理解所看到的的事物；

3）行动，机器人能够通过所看到的转化成相应的动作，这个像语音识别似的，你说的话，由机器去识别、判断，并作出相应的回应；

4）学习，外部的世界是非结构化、动态的，通过不断地学习来提高自身，以适应环境。

2.机器人视觉的主要应用领域

无论是天上飞的，地上跑的，还是水里游的都会有机器人的身影，所以机器人是无处不在的，相应的机器人视觉也是无处不在的。

3.机器人视觉在工业领域的应用

二、机器人视觉目前的机会和挑战

1.机会

操作带来更多价值。操作指有意义有目的性的机器人的动作，例如机械臂操作复杂工件，分拣机器可以将相应的物品进行分类，快递车配送等等。因为所有的物和我们自身都处在物理世界，所以实际的操作能带来更多的价值。

2. 挑战性

机器人的可靠性、适应性、系统工程

挑战一：高可靠性-99.99%is notenough

挑战二：适应性-Data is notcheap

挑战三：系统工程-SystemIntegration is Science!

3.计算机视觉、机器视觉、机器人视觉之间的差异

三、机器人视觉的学术和技术研究现状

机器人视觉是个日新月异的研究领域，学术研究成果丰富，这里选取部分非常有启发性的成果如下

1.学术研究现状-可靠性-算法评测

2.学术研究现状-可靠性-算法输出

3.学术研究现状-适应性-学习新类别的知识

我们在学习新知识的时候同时希望保持对老知识的记忆。增量学习恰恰存在灾难性遗忘的问题，通过累加数据学习，它会在新的任务上性能越来越好，而在老任务的表现上会越来越差，这不是我们所追求的适应性，所以进一步研究的热点是能兼顾新老任务的学习方式，即连续性学习。连续性学习只在新数据上更新模型，这样能快速地更新模型，另一方面，通过算法设计，保持对历史数据的记忆。由下图我们可以看出，有三种结果，真正符合我们所需求的只有红色箭头所示的学习方式，它最终收敛于老任务和新任务的参数空间的交集处，在这个位置，新老任务都有不错性能，这就是比较理想的方式。

5.学术研究现状-适应性-仿真到显示的迁移

四、机器人视觉的工业落地现状

机器人视觉在实际工业落地时面临很多挑战，例如：某电商平台有500的SKU，同时SKU是不断变化的，如何使得系统能快速可靠的适应百万级别的SKU是一个巨大的挑战。其中，如何设计模型？如何快速训练？如何保证速度-精度平衡？如何快速测试？如何保持扩展性，这一系列问题都是非常复杂的。除此之外，还有标准体系、环境适应、执行机构和操作参数等问题需要解决。

（高密度无人储存货架　图片来自网络）

武汉库柏特科技有限公司专注于智能机器人操作系统COBOTSYS研发，该系统包含机器人视觉、机器人运动规划等关键技术。基于COBOTSYS，库柏特目前在物流、食品等领域成功交付多套机器人系统，代表性的产品如下，

经验总结

场景：深入理解场景，理解场景的本质问题是什么；分析算法边界；找到适合的技术路线，针对具体的场景和问题创新性地优化算法，解决问题。

数据：花更多的时间在数据上，Dirty work 更重要。

系统思维：重视系统设计，从整个机器人的层面来设计各个模块，然后做更多的系统测试，在系统测试中模拟、还原真实的场景，从中发现各个模块的问题，再基于良好的系统设计快速地更新子模块，快速迭代。

五、机器人视觉发展方向展望