Sim2Real让AI思考更像人类

Teching Uncalibrated robots to Visualy self-adapt

谷歌研究人员表示，研究机器的在线视觉自适应是一个重要而具有挑战性的问题。这一方向的目标是：找到可在多样化和非结构化的现实世界中运行的机器人所需要的通用化策略。新方法可以扩展到任何类型的自动自我校准上。对AI的视觉机制将是极大的拓展。

人类擅长在看不到物体时就通过调整视野操纵物体，这种能力被定义为视觉整合。视觉动作整合在人类幼年时期就通过多种场景实践习得，通过感官和视觉反馈进行纠错和完善。

但在 AI机器学习中，设置的视觉控制装置难以获得人类的这种能力。现阶段来讲，视觉控制装置基于固定摄像头读取视觉输入数据进行反馈，在视角大幅变化的情况下，如何快速获取视觉运动控制技能的能力将对机器的视觉系统带来巨大挑战。——举例来说，视觉控制装置对于参与救援工作或在灾区作业的机器非常重要。

谷歌在本周CVPR2018的会议发表了一篇论文——《Sim2Real Viewpoint Invariant Visual Servoing by Recurrent Control》。谷歌表示他们研究了一种新的深度网络框架（其中包含了两个全卷积网络和一个长短期记忆单元），该框架从过去的动作和观测数据结果中学习，并进行自我校准。

visually-adaptive network通过演示路径和强化学习目标组成的各种模拟数据，独立于摄像机校准，仅通过数据就可以全方位视角控制控制机械臂，从而使到完成系统指示的各种目标。

用物理机械臂实现视角不变操作的新方法是一种单一策略，通过从不同的摄像机视角捕获的数据实现要求的不同的目标。这一行展示了视角指示的目标。

相应的挑战

从不同的视角捕获的单一图像中研究可控自由度（DoF）是如何影响视觉运动还是不够确切具体。

如何确定DoF对图像-空间运动有影响并成功地执行预期任务，需要一个对过去DoF进行记忆并进行增强的鲁棒感知系统。为解决DoF的问题，需要解决2个基本问题：

如何组织经验：让机器在模拟学习（纯视觉观察）的基础上自主学习自适应行为。

如何设计模型：建立一个鲁棒感知和自适应控制整合起来，适应未知环境的模型。

为了解决现有问题，我们为机器设计了一种新任务——给一个7个DoF机械臂提供一个物体的图像，同时设置干扰物，让它在干扰中找到目标物体。每一次任务机器的视角都会全新设计，使用这种方法，我们使机器模拟人类的复杂行为向未知环境迁徙，并以机器的角度呈现出来。

用物理机械臂和各种摄像机视点完成到达视觉指示目标的任务。

利用模拟来学习复杂行为

收集机器人学习数据非常耗费精力。在过去的一篇论文中，我们展示了如何通过将数据收集和试验分配给多个机器人来扩展学习技能。虽然这种方法加快了学习进度，但它仍然不适合扩展到视觉自校准的学习中，视觉校准需要将机器人置于一个包含丰富视点的大型空间中。

因此，我们选择在模拟环境中学习视觉自校准。在模拟环境收集大量的机器人试验数据，并用相对轻松的方式将摄像头全局视角转换。模拟环境除了可以快速收集数据之外，模拟环境还可以突破需要在机器人周围安装多个摄像机的硬件限制。

控制中解构感知

为了更快地将数据迁移到未知环境，我们设计了一个深度神经网络，把感知和控制结合在一起同步进行训练，并且允许二者分别进行训练。

当感知与控制之间分离，会使训练迁移到未知环境的难度减小，使学习模型更加灵活和高效。感知和控制都可以单独适应新的数据量较小的环境。此外，虽然神经网络中的控制部分由模拟数据进行训练，但感知经过物体边界框收集的静态图像进行补充，此举节省了机器人收集完整的动作序列轨迹。

在实践中，我们用了来自 22 张图像的 76 个对象边界框来调整学习网络的感知。

早期成果

我们在物理机器和实物上分别测试了视觉适应版本的网络，这些物体的外形与模拟环境中使用的完全不同。

在实验测试中，我们会在桌子上设置一个或两个物体：测试提供小型静态真实图像集——曾经出现过的物体用于视觉自适应。在视觉适应期间不会出现未知物体。

在测试中，机械臂被引导从多角度视点到达视觉指示目标物体。对于两个物体的实验，提供的第二个物体用于让机械臂产生混乱。因为模拟网络的良好的学习适应能力，使模型的网络架构具有相当强的灵活性。因此虽然测试实验中只收集少量的真实静态视觉数据就使得视觉控制器的表现大幅度提升提升。

谷歌研究人员表示，研究机器的在线视觉自适应是一个重要而具有挑战性的问题。这一方向的目标是：找到可在多样化和非结构化的现实世界中运行的机器人所需要的通用化策略。新方法可以扩展到任何类型的自动自我校准上。