机器学习的创新速度令人惊叹——几年前还只是停留在图纸上的构想,如今已成为现实。在某中心,这具体体现在一个机器人系统上:该系统不仅能在杂乱的存储箱中识别潜在空间,还能灵敏地操控箱内物品以创造空间,然后成功地将新物品放入其中。这一成果在不久前还被认为是无法实现的。
这一旅程始于一件商品抵达某中心的履约中心。首要任务是将商品添加到履约中心的可用库存中,使其可供客户购买。
在实践中,这意味着要将物品拿起并放入一个存储货架中。货架类似于一个由坚固黄色织物制成的大书架,由多达40个被称为"料箱"的格子组成。每个料箱前方都有弹性带,以防止内部物品掉出。这些货架由轮式机器人运送到执行上架任务的工作站。当货架基本装满后,它会被送回仓库,其中存放的物品等待客户订单。
上架是某中心运营的一个重要环节。从机器人自动化的角度来看,这也是一项似乎难以解决的问题,因为这项工作需要细致的思考和灵巧的操作。想象一下这个任务:你手中有一件待上架的物品。你估量它的大小和重量。你看着面前的一排料箱,直观地感知哪些是空的,哪些已经满了,哪些料箱里还有大块空间,以及哪些料箱有潜力通过移动现有物品来创造空间。你选择一个料箱,拨开弹性带,为物品腾出空间,然后把它放进去。工作完成。如此重复。
这项上架任务要求机器人具备两项通常不具备的高级能力。第一,对三维世界的出色理解。第二,对种类繁多的已包装物品(有时是易碎品,从灯泡到玩具)进行牢固但灵敏操作的能力:轻柔地将物品推到一边、翻转它们、将物品以一定角度插入其他物品之间等等。
"上架从根本上颠覆了所有现有的工业机器人思维,"某中心机器人人工智能总监说。"工业机械臂通常是执行固定轨迹非常精确的笨重手臂。它非常依赖位置控制。"
当该总监于2018年加入某中心时,多个机器人项目已经尝试使用僵硬的定位机械臂向织物货架上架物品。"它们在这项任务上惨败,因为这是一个噩梦。除非你拥有正确的计算工具,否则它根本无法工作:你不能仅从物理角度思考,而必须从计算角度思考。"
该总监知道机器人上架所需的科学当时尚不存在,但他知道需要聘请合适的人来开发它。他找到了即将在华盛顿大学完成博士学位的帕克·欧文。
"当时我正在研究机器人接触、模仿学习和力控制,"现为机器人人工智能高级应用科学家的欧文说。"他对我说,'嘿,某中心有一个你可能感兴趣的美丽问题',然后他就说到这里。"
种子就此埋下。欧文加入了某中心,然后在2019年全心投入到上架的挑战中。"我从决策算法的角度来处理这个问题:感知需求;如何将物品匹配到合适的料箱;如何利用料箱内的信息做出更好的决策;机械臂在自由空间中运动的路径规划;以及实际与产品接触并在料箱中创造空间。"
大约在他的探索性工作进行了六个月后,一小队应用科学家和硬件专家亚伦·帕尼斯加入了欧文的行列。帕尼斯承认他最初持怀疑态度。"我最初的反应是,'哦,这个刚拿到博士学位的人是多么勇敢和天真,竟然认为机器人能处理这种程度的杂乱和物理接触!'"但帕尼斯很快就被吸引住了。"一旦你看到问题如何被分解和结构化,突然之间就会明白,这里有一些超级有用和有趣的东西。"
从硬件角度看,团队需要找到一款具有力反馈的机械臂。他们尝试了几种型号,最终选定了一款有效的。该机械臂每秒提供数百次关于其施加的力以及遇到的阻力的反馈。利用这些信息来控制机器人被称为"顺应性操作"。
"我们从一开始就知道我们需要顺应性操作,而且我们以前从未见过任何人在工业规模上这样做,"欧文说。"这是一片未知领域。"
帕尼斯开始着手解决至关重要的硬件问题。移动弹性带以放置物品的问题通过一个相对简单的钩挂系统得以解决。
末端执行器被证明是一个超高难度的挑战。上架对机器人来说如此困难的原因之一在于某中心销售物品及其包装的巨大多样性。你可能有一个未充气的足球旁边放着一本书,旁边是运动饮料,旁边是T恤衫,旁边是珠宝盒。机器人需要能够处理这种程度的多样性。末端执行器在两年内快速演变,经历了多次失败和迭代。
"最终,我们发现用两个桨叶轻轻挤压物品,比使用吸盘或机械钳更稳定地抓持物品,"帕尼斯说。然而,当尝试将抓取的物品放入料箱时,桨叶设置带来了挑战——桨叶总是碍事。帕尼斯和他日益壮大的团队想到了一个替代方案:将物品放在料箱旁边,然后同时打开桨叶并使用柱塞将物品推入。这种"丢-推"技术容易出错,因为并非所有物品对其反应都相同。
末端执行器的下一次迭代是团队在每个桨叶上安装微型传送带,使末端执行器能够平稳地将物品送入料箱,而无需进入料箱内部。"有了这个改变,我们的上架成功率从大约80%跃升至99%。这对我们来说是一个顿悟时刻——我们知道我们找到了赢家,"帕尼斯说。
将物品放入料箱的能力至关重要,但在杂乱的料箱中创造空间也同样重要。为了更好地理解机器人系统需要什么,团队仔细研究了他们自己是如何执行这项任务的。欧文甚至戴上头戴式摄像机来记录自己的操作。团队惊讶地发现,在织物料箱内进行空间创造的手部动作,绝大多数可以归结为四种类型或"动作原语"。这包括横向清扫料箱内的现有物品、将平躺的物品翻转直立、堆叠,以及将物品以一定角度插入其他物品之间的缝隙中。
工程师们意识到,末端执行器的桨叶无法参与这种料箱内物品操作任务,因为它们会碍事。最终的解决方案出人意料地简单:一块可以从末端执行器伸出的薄金属片,被称为"铲子"。伸出的铲子可以牢固但灵敏地将物品推到一边、将其翻转,并通常用于在料箱中腾出空间,然后桨叶将物品弹射到创造出的空间中。
但是,系统如何知道货架料箱有多满,以及它如何决定在哪里以及如何为下一个待上架物品创造空间?这就是视觉感知和机器学习发挥作用的地方。决定在哪里尝试上架物品,需要很好地了解每个织物料箱中总共可用的空间大小。在理想情况下,这会用到LiDAR等3D传感技术。然而,由于每个料箱前端的弹性带部分遮挡了内部视野,这个选项并不可行。
取而代之,系统的视觉感知基于指向货架的摄像头,这些摄像头将图像数据馈送到机器学习系统。根据系统对每个料箱内容物的可见部分,系统"擦除"弹性带,对料箱内看不见的物品进行建模,然后估算出货架上每个料箱的总可用空间。通常,杂乱的料箱中虽然有可用空间,但它们并不连续:这里或那里有零散的空间。机器学习系统(部分基于某中心履约技术团队开发的现有模型)然后预测,在可用的动作原语下,它能在每个料箱中创造出多少连续空间。
"这些原语中的每一个都可以根据需要变化,并且可以以无限多的方式组合,"该总监解释道。"比如说,可以在这里把它翻过来,然后推到另一边,再把物品放进去。人类非常擅长首先识别这些原语,而机器学习则擅长组织和协调它们。"
当系统对选项有了明确的判断后,它会考虑其缓冲区中的物品——机械臂桁架附近的一个区域,各种形状和尺寸的产品在此等待上架——并决定哪些物品最好放在哪些料箱中以实现最高效率。
"对于每一个潜在的上架动作,系统都会预测其成功概率,"帕尼斯说。"当最佳成功率预测下降到大约96%时(这发生在一个货架几乎装满时),我们就会发送走那个货架,并运来一个新的。"
到2021年夏末,随着该项目的可行性和价值日益清晰,某中心的高级领导团队给予了全力支持。
"他们说,'尽你所能快速推进;你需要什么我们都支持'。所以这一年是一次狂野的旅程。感觉我们像是在某中心内部的一家初创公司,"帕尼斯说,并指出这种方法对履约中心员工也有显著优势。
"机器人和人类在一个混合系统中协同工作。机器人处理重复性任务,并轻松触及高架和低架。人类处理需要直觉和灵巧度的更复杂物品。最终效果将是更高效的运营,同时也让我们的员工更安全。"
机器人上架工作站的样机安装在华盛顿州西雅图的一个实验室,另一套系统已安装在华盛顿州萨姆纳的一个履约中心,处理实时库存。这些样机已经能够很好地完成物品上架,并展示了该系统的可行性。
"而且总是有四、五位科学家和工程师围在机器人周围,记录问题并寻找改进方法,"帕尼斯说。
在今年的一项上架测试中,该测试旨在包含各种具有挑战性的产品属性(袋装物品、重心偏移的不规则物品等),该系统成功上架了95件物品中的94件。当然,有些物品永远无法由该系统上架,包括特别笨重或沉重的产品,或者在传送带上表现不佳的圆柱形物品。团队的最终目标是能够上架标准某中心履约中心库存中85%的产品。
"与混乱排列的、形状大小各异的未知物品互动,并学习以智能方式操控它们,所有这些都在某中心的规模上进行——这是开创性的,"欧文说。"我感觉自己正处于一件大事的开端,这让我每天对工作感到兴奋。"
"上架项目将成为某中心首个大规模的棕地自动化项目,"该总监说。"将自动化技术精准地融入现有建筑物极具挑战性,但我们正在构建一个未来,让机器人和人类能够真正并肩工作,而无需我们大幅改变人类的工作环境。"
"我们在机器人人工智能部门进行的这种棕地自动化的优势之一是,它对流程或建筑空间的干扰最小,这意味着我们的机器人可以真正与人类并肩工作,"该总监补充道。"这也是顺应性机械臂未来的一个好处,因为它们可以通过软件和人工智能变得比工业机械臂更安全。"
机器人与人类并肩工作是这项技术长期扩展到零售领域之外的关键,帕尼斯说。
"想象一下机器人装载易碎的杂货,或者从长远来看,装载洗碗机或帮助人们处理家务。在其控制回路中具有力感知的机器人,是顺应性机器人应用的一个新范式。"
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。