NVIDIA的新机器人研究实验室都干了些啥？

《The Robot Report》将英伟达命名为2019年必看的机器人公司，因为该公司新推出的Jetson AGX Xavier模块有望成为下一代机器人的大脑。现在，更有理由关注英伟达(NVIDIA)的机器人技术动向:这家总部位于加州圣克拉拉(Santa Clara)的芯片制造商刚刚开设了首家成熟的机器人研究实验室。

英伟达的机器人实验室位于西雅图，距离华盛顿大学(University of Washington)只有几步之遥。该实验室的任务是推动突破性研究，使下一代协同机器人能够在人与人之间安全可靠地运行。英伟达的机器人实验室由迪特尔·福克斯(Dieter Fox)领导，福克斯是英伟达机器人研究高级主管，也是英伟达大学保罗·g·艾伦计算机科学与工程学院(UW Paul G. Allen School of Computer Science and Engineering)教授。

福克斯说:“所有这些都是为了使下一代智能机器人能够在开放式环境中工作，而不是所有的东西都是专门为它们设计的。”“通过整合感知、控制、学习和仿真方面的最新进展，我们可以帮助研究界解决机器人领域的一些最大挑战。”

这个占地13000平方英尺的实验室将容纳50名机器人专家，其中包括20名英伟达(NVIDIA)的研究人员，以及来自世界各地的客座教师和实习生。英伟达希望机器人能够在真实世界的非结构化环境中与人类一起自然地执行任务。要做到这一点，机器人需要能够理解一个人想要做什么，并找出如何帮助实现一个目标。

英伟达机器人实验室的想法出现在2017年夏天的夏威夷。福克斯和英伟达首席执行官黄仁勋在一年一度的计算机视觉会议CVPR上会面，讨论了机器人技术中令人兴奋的领域和正在进行的困难问题。

英伟达致力于解决计算机可以解决的非常困难的挑战。机器人技术无疑是人工智能的最后前沿之一。它需要多种技术的融合。“我们希望为机器人领域做出贡献。”在这个过程中，它将衍生出各种伟大的计算机科学和人工智能知识。我们真的希望这项新技术能让医疗、制造业、运输和物流等行业取得巨大进步。

英伟达表示，目前大约有12个项目正在进行中，英伟达将开放其研究论文的源代码。福克斯表示，至少在早期，英伟达的主要兴趣是与机器人领域分享其软件开发。福克斯说:“你在厨房演示中看到的一些核心技术将被包装成非常健壮的组件。”

厨房里的移动机械手

英伟达机器人实验室的主要测试区域是从宜家购买的厨房。由一只名叫Franka Emika的熊猫cobot组成的机械手将被放在一辆赛格威RMP 210 UGV上。这只机械手将尝试完成一些难度越来越大的任务，从从橱柜里拿东西到学习如何清洁餐桌，再到帮助一个人做饭，不一而足。

在open house过程中，移动机械手不断地抓取物体并将其放入抽屉中，用夹持器打开和关闭抽屉。福克斯承认第一个任务有点简单。该机器人仅基于自身的仿真，使用深度学习来检测特定对象，不需要任何手动数据标注。该机器人使用NVIDIA Jetson平台进行导航，并在NVIDIA TITAN gpu上进行实时推理处理和操作。采用cudnn加速PyTorch深度学习框架对基于深度学习的感知系统进行训练。

福克斯还解释了为什么英伟达选择在厨房里测试一个移动机械手。“选择厨房的想法并不是因为我们认为厨房将成为家庭中的杀手级应用，”福克斯说。“它实际上只是这些领域的一个替代品。“厨房是一个结构化的环境，但福克斯说，很容易以更复杂的任务的形式给机器人引入新的变量，比如处理未知物体或帮助做饭的人。”

深度目标位姿预测

英伟达于2018年10月推出了Deep Object Pose Estimation (DOPE)系统，并在西雅图展出。利用NVIDIA的算法和单一的图像，机器人可以推断出物体的三维姿态，以便抓取和操作。

合成数据的关键挑战之一是弥合现实差距的能力，以便在合成数据基础上训练的网络能够正确地使用真实数据。英伟达表示，它的一次性深度神经网络(deep neural network)已经实现了这一点，尽管它的基础有限。该系统通过两个步骤接近其控制。首先，深度神经网络估计图像坐标系中所有对象二维关键点的置信映射。接下来，将这些信念映射的峰值输入标准的perspective-n-point (PnP)算法，以估计每个对象实例的6自由度姿态。

触觉传感

英伟达有两个演示展示了触觉感应，这是商业化的机器人抓手缺少的一个元素。其中一个演示展示了右手机器人公司(right - Robotics)的ReFlex TakkTile 2夹持器，该公司最近为其捡件技术筹集了2,300万美元。反射式TakkTile 2是一款与罗斯兼容的三指机械手。该夹具具有三个弯曲自由度和一个耦合旋转自由度。传感功能包括普通压力传感器、旋转近端关节编码器和指尖IMUs。

另一个演示是由英伟达(NVIDIA)高级机器人研究人员卡尔•范维克(Karl Van Wyk)进行的，演示中，SynTouch触觉传感器被改装成一只快板机械手，这只机械手来自韩国的Wonik robotics公司，还有一只库卡LBR iiwa cobot机器人。“感觉就像一只宠物!”黄一边说，一边轻轻地摸着机器人的手指，让它们往后拉。“这是惊人的治疗。我可以要一个吗?

人机交互

另一个有趣的演示是英伟达(NVIDIA)的“本体感知机器人”(本体感知机器人)，这是Madeline Gannon博士的作品，她是一名多学科的设计师，绰号“机器人低语者”(Robot Whisperer)，正在发明更好的与机器人交流的方式。通过在机器人下方的地板上安装一个名为“尤米ABB”(ABB YuMi)的双臂机器人和一个名为“Kinect”的微软(Microsoft) Kinect，该系统可以模仿机器人前面的人的动作。

“有了YuMi，你不需要机器人专家给机器人编程。使用英伟达(NVIDIA)的运动生成算法，我们可以与栩栩如生的机器人进行互动。

你可能听说过Gannon最近在2018年9月的世界经济论坛上的工作。她连续安装了10个工业机器人手臂，通过一个中央控制器将它们连接到一个单独的机器人手臂上。他们利用机器人底部的深度传感器，追踪并回应过往行人的移动。

“有很多有趣的事情，我们可以在追求一个普通的人工智能机器人时衍生出来，”黄说。“例如，很有可能在不久的将来，你会有‘exo交通工具’在你身边，无论是外骨骼还是exo，它都可以帮助残疾人，或者帮助我们变得比自己更强大。”