前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Facebook最新研究:4小时让机器人学会2千种操作

Facebook最新研究:4小时让机器人学会2千种操作

作者头像
新智元
发布于 2019-10-10 03:37:08
发布于 2019-10-10 03:37:08
5230
举报
文章被收录于专栏:新智元新智元

新智元报道

来源:VentureBeat

编辑:鹏飞

【新智元导读】Facebook AI Research团队在训练两个Sawyer机械臂操作目标对象时提出了一种模式训练方法,研究人员认为许多任务学习的过程都可分为两个阶段:一是学习任务模式(如动作是抓、握、扭、拾取等),二是学习使用相关动作着力的依据(如施力位置、力的大小、目标姿势等)。通过这两个阶段的视觉图像学习,大约4到10小时即学会了2000种操作技能,成功率超过90%。 >>> 人工智能改变中国,我们还要跨越这三座大山 | 献礼 70 周年

双臂机器人如何完成打开瓶子的任务?

总是需要用一只手抓住瓶子的底部,同时用另一只手抓住瓶盖并拧开,这种对人类来说小儿科的操作,让机器来做就要费很多事。这种高级操作步骤,就是所谓的Schema。

不过值得庆幸的是,它不受对象的几何和空间状态的影响。不过,与旨在通过学习策略来解决任务的强化学习技术相比,schema的优势在于:不需要在数小时、数周甚至数月的时间内提取数百万个示例。

最近,Facebook AI Research的一个团队,试图使用两个可以从库中选择正确步骤的Sawyer机械臂来实现这个目的。在每个时间步长上,他们的智能体都必须决定使用什么技能、以及要使用哪些论据来达成目标。例如,施加力的位置、力的大小、要移动的目标姿势等等。

尽管涉及复杂性,不过该团队表示他们的方法提高了学习效率,因此仅需几个小时的训练,机械臂就可以发现操纵技能。

团队的主要见解是:对于许多任务,学习过程可以分为两个部分,分别是(1)学习任务模式和(2)学习为不同技能选择适当参数化的策略。

他们认为,这种方法可以加快学习速度,部分原因是可以使用来自给定任务不同版本的数据来提高共享技能。而且,他们说这允许在相关任务之间转移学习到的模式。

该论文的共同作者详细解释称,假设我们已经学会了一种很好的方案,在一个模拟环境中我们可以访问对象的姿势、几何信息等、以及更多内容,然后在这个模拟环境中举起个长条,那么我们就可以将该模式重新用于相关任务,例如仅从原始摄像机观察结果中拾取现实世界中的托盘。

即使状态空间和最佳参数化(例如,抓握姿势)都存在显著差异。由于该模式是固定的,因此针对该任务栏提取任务的策略学习将非常有效,因为它仅需要学习每种技能的(与观察相关的)参数。

研究人员为上述两个机械臂提供了一个通用的技能库,例如扭转、提升和伸展,他们必须将其应用于涉及不同对象、几何形状和初始姿势的多个横向提升、拾取、打开和旋转任务。

在MuJoCo(模拟环境)中,通过使用低维输入数据进行训练,例如几何和本体感受特征(关节位置,关节速度,末端执行器姿势)等,然后在模拟和现实世界中都转换为可视输入。

在实验过程中,Sawyer手臂(配备摄像头,并由Facebook的PyRobot开源机器人平台控制)的任务是操纵包括面杖、足球、玻璃罐和T型扳手在内的9个常用物品。

完成任何任务都需要两个相互配合的爪子。尽管必须从原始视觉图像中学习,但他们说系统在大约4到10个小时的训练中学会了使用2000种技能来操纵大多数项目,并且成功率超过90%。

论文的共同作者写道:“我们已经研究了如何利用与状态无关的技能序列来大大提高无模型强化学习的样本效率。此外,我们已经通过实验表明,将在模拟环境中学习到的技能序列,转移到现实世界中的任务,使我们能够非常有效地解决图像中的稀疏奖励问题,从而使训练真正的机器人执行诸如双手操作之类的复杂技能变得可行。”

参考链接:

https://venturebeat.com/2019/10/07/facebooks-ai-teaches-robots-to-manipulate-objects-in-less-than-10-hours-of-training/

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-10-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 新智元 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
1小时学会走路,10分钟学会翻身,世界模型让机器人迅速掌握多项技能
选自arXiv 机器之心编译 编辑:小舟、蛋酱 世界模型在实体机器人上能发挥多大的作用? 教机器人解决现实世界中的复杂任务,一直是机器人研究的基础问题。深度强化学习提供了一种流行的机器人学习方法,让机器人能够通过反复试验改善其行为。然而,当前的算法需要与环境进行过多的交互才能学习成功,这使得它们不适用于某些现实世界的任务。 为现实世界学习准确的世界模型是一个巨大的开放性挑战。在最近的一项研究中,UC 伯克利的研究者利用 Dreamer 世界模型的最新进展,在最直接和最基本的问题设置中训练了各种机器人:无
机器之心
2022/07/01
8840
1小时学会走路,10分钟学会翻身,世界模型让机器人迅速掌握多项技能
“寓教于乐”,DeepMind新研究让机器人从0开始学习复杂精细动作
别小看这个笨拙地抓起、移动着物体的机器人,它可是DeepMind的最新研究成果。 有什么特别之处呢?这个机械臂可是在现实世界中直接训练的,没有搞现在模拟器里训练一个智能体,再迁移出来那一套。 这项研究
量子位
2018/03/20
7170
“寓教于乐”,DeepMind新研究让机器人从0开始学习复杂精细动作
机器人真的有意识了!突破狭义AI的自我学习机器人问世
过去几十年来,拥有自我意识的机器人一直是科幻小说最喜欢的题材之一,现在,这个过去只存在与科幻小说中的事物离我们越来越近了。
新智元
2019/05/08
1.1K0
机器人真的有意识了!突破狭义AI的自我学习机器人问世
谷歌教机器人理解语义,像人一样学习复杂技能 | 附3篇论文
李林 编译自 Google Research Blog 量子位 出品 | 公众号 QbitAI 机器人可以通过机器学习获得复杂的技能,如抓取物体、开门等。 然而,学习这些技能需要我们先人工设置奖励函数,机器人随后再对它进行优化。 而人类,只通过观察别人的做法或者听别人讲,就能理解任务的目标。这依靠的是我们自己先前对世界的了解:看到有人切苹果,我们就会知道目标是“制造两块苹果”,与苹果是什么品种、用什么样的刀无关;如果有人告诉我们拿起苹果,我们就知道要抓住的对象是哪一个,因为我们知道在所处环境中“苹果”这个词
量子位
2018/03/28
8330
谷歌教机器人理解语义,像人一样学习复杂技能 | 附3篇论文
【重磅】DeepMind发布通用强化学习新范式,自主机器人可学会任何任务
---- 新智元报道 来源:DeepMind 编译:Marvin 【新智元导读】DeepMind今天发表博客文章,提出一种称为SAC-X(计划辅助控制)的新学习范式,旨在解决让AI以最少的先验知识,从头开始学习复杂控制问题的挑战。这在真实环境中成功让机械臂从头开始学习拾放物体。研究者认为,SAC-X是一种通用的强化学习方法,未来可以应用于机器人以外的更广泛领域。 让孩子(甚至成年人)在使用物品之后自己收拾可能是颇有挑战性的事情,但我们面临一个更大的挑战:试图让我们的AI也这样做。成功与否取决于
新智元
2018/03/12
1.1K0
【重磅】DeepMind发布通用强化学习新范式,自主机器人可学会任何任务
机器人基于图像完成任务最有效的 RL 方法:无需预测未来,也无需严格假设!
AI 科技评论按:对于机器人强化学习来说,基于视觉的物块堆叠和推动是最常见的任务,为了减小训练过程的成本和安全问题,我们希望最小化训练过程中与环境交互的次数。但从相机这样复杂的图像传感器中进行高效学习却十分困难。为了解决这一问题,伯克利的研究人员提出了一种新型基于模型的强化学习方法并发表了相关文章介绍了这一成果,AI 科技评论将其编译如下。
AI科技评论
2019/07/12
6910
机器人基于图像完成任务最有效的 RL 方法:无需预测未来,也无需严格假设!
开发 | Facebook 最新开源框架 PyRobot,开辟 AI 机器人研究新纪元!
AI 科技评论按:过去一段时间里,PyTorch 等框架的开源大大加快了 AI 子领域研究的进展,如计算机视觉和自然语言处理等。这些框架为研究人员提供了一定程度的抽象,并使得构建最先进的系统、使用共享库和工具、以及优化性能的操作变得更加容易。因此,为了在人工智能机器人研究中提供类似的实用性,Facebook 与卡内基梅隆大学的研究人员合作建立并开源了机器人框架——PyRobot。
AI科技评论
2019/07/05
8160
开发 | Facebook 最新开源框架 PyRobot,开辟 AI 机器人研究新纪元!
25分钟训练机器人学会6个动作,伯克利开发高效机器人操纵框架
这就是来自加州大学伯克利分校的一项新研究——高效机器操作框架Framework for Efficient Robotic Manipulation(FERM),专门对机械臂进行高效率操作的算法训练。
AI 电堂
2021/01/08
6660
UC伯克利研发史上最灵巧机器人,物品分拣每小时达300次
精彩回顾 2018 新智元产业跃迁 AI 技术峰会今天隆重启幕,点击链接观看大会盛况: 爱奇艺 http://www.iqiyi.com/l_19rr3aqz3z.html 腾讯新闻 http://v.qq.com/live/p/topic/49737/preview.html 新浪科技 http://video.sina.com.cn/l/p/1722511.html 云栖社区 https://yq.aliyun.com/webinar/play/419 斗鱼直播 https://www.
新智元
2018/04/18
6890
UC伯克利研发史上最灵巧机器人,物品分拣每小时达300次
DeepMind 升级深度强化学习,仅10小时训练16个机器人灵活操纵物体
【新智元导读】DeepMind 研究人员改进深度确定策略梯度算法,在虚拟环境中训练机械臂叠协同完成堆叠积木的任务,每架机械臂的结果都被用于改进核心算法,10个小时训练好 16 台机器人。研究人员表示,他们的方法可以很快就能用于训练真实世界机器人完成精确堆叠的任务。 让机器人相互学习一个最简单的方法就是将所有关于成功和失败的经验都汇总到一起。去年,谷歌大脑展示了他们的协作机械臂研究项目——合作式增强学习让机器人掌握通用技能:一台机械臂学会的东西,可以在所有机械臂之间共享,这样所有的机械臂都能以更快的速度学习、
新智元
2018/03/27
1.4K0
DeepMind 升级深度强化学习,仅10小时训练16个机器人灵活操纵物体
身手不凡的机器人,开源项目汇总
最初,因隋炀帝思念心切,命工匠按照柳抃的形象制作了木偶机器人,被认为是历史上最早的机器人之一。这些木偶机器人通过精巧设计的机关,能够执行坐、起、拜、伏等动作。
CV君
2024/07/12
8810
身手不凡的机器人,开源项目汇总
Facebook与CMU联手打造开源框架PyRobot,LeCun站台的机器人研发社区来了
Facebook的AI团队最近对机器人技术非常着迷。过去一年Facebook没少在机器人上下苦功,从六足机器人,到Replica真实感训练数据集,到Habitat模拟引擎,最近又推出了PyRobot。从名称就可以看出,这是一个基于PyTorch的机器人框架。
新智元
2019/07/05
5980
Facebook与CMU联手打造开源框架PyRobot,LeCun站台的机器人研发社区来了
给AI一个洗衣机,TA会做点啥?斯坦福+FB研究了972种形状,只为教机器人开门
这是人类在日常生活中与周围物体互动的简单场景之一,对人类来说,拉开一个洗衣机门是自然而然的行为。
大数据文摘
2021/02/08
3500
基于视觉的仿人机器人灵巧操作:从模拟到现实的强化学习
本文聚焦于通过**Sim-to-Real强化学习(RL)**实现仿人机器人基于视觉的灵巧操作任务。灵巧操作(如抓取、搬运、双手交接)是机器人领域长期以来的技术难点,传统方法依赖人工编程或示教,难以适应复杂多变的物体属性和动态环境。论文提出一种系统化方法,通过解决环境建模、奖励设计、策略学习与感知迁移四大挑战,构建了一个可扩展的Sim-to-Real框架。其核心目标是通过模拟环境中的高效训练,将策略无缝迁移至真实硬件,实现对多样化物体的鲁棒操作。
一点人工一点智能
2025/03/07
1950
基于视觉的仿人机器人灵巧操作:从模拟到现实的强化学习
MoManipVLA——面向通用移动操作的视觉-语言-动作模型迁移
项目链接:https://gary3410.github.io/momanipVLA/
一点人工一点智能
2025/03/27
2200
MoManipVLA——面向通用移动操作的视觉-语言-动作模型迁移
前沿 | 谷歌提出Sim2Real:让机器人像人类一样观察世界
人们非常擅长在不将视点调整到某一固定或特殊位置的情况下操纵物体。这种能力(我们称之为「视觉动作整合」)在孩童时期通过在多种情形中操纵物体而习得,并由一种利用丰富的感官信号和视觉作为反馈的自适应纠错机制控制。然而,在机器人学中,基于视觉的控制器很难获得这种能力,目前来看,这种控制器都基于一种用来从固定安装的摄像头读取视觉输入数据的固定装置。在视点大幅变化的情况下快速获取视觉运动控制技能的能力将对自动机器人系统产生重大影响——例如,这种能力对于参与救援工作或在灾区作业的机器人来说尤其必要。
机器之心
2018/07/26
6480
前沿 | 谷歌提出Sim2Real:让机器人像人类一样观察世界
DemoGen:用于数据高效视觉运动策略学习的合成演示生成
论文链接:https://demo-generation.github.io/paper.pdf
一点人工一点智能
2025/04/02
1450
DemoGen:用于数据高效视觉运动策略学习的合成演示生成
机器人模仿人类动作一学就会,还能举一反三了 | 论文
夏乙 发自 凹非寺 量子位 出品 | 公众号 QbitAI 你在椅子上坐下、夹起一筷子毛肚、送进沸腾的红汤里、等待8秒、夹出来……动作行云流水一气呵成。人类掌握吃火锅的技能,离不开有意无意的模仿。 不过,吃火锅对于机器人来说,就要难得多。想学会这一系列的动作,往往需要为它们设定复杂的目标和奖励函数。 好消息是,教它们通过模仿来学习的研究又有新进展,机器人更聪明更灵活了。 加州大学伯克利分校的科学家们在最新论文中提出了域自适应的元学习(Domain-Adaptive Meta-Learning),让机器人在看
量子位
2018/03/21
1K0
机器人模仿人类动作一学就会,还能举一反三了 | 论文
学界 | 深度学习与强化学习相结合,谷歌训练机械臂的长期推理能力
AI 科技评论按:机器人如何能够学到在多样且复杂的真实世界物体和环境中能够广泛使用的技能呢?如果机器人是设计用来在可控环境下进行高效的重复工作,那么这个任务就相对来说更加简单,比如设计一个在流水线上组装产品的机器人。但要是想要设计能够观察周围环境,根据环境决定最优的行动,同时还能够对不可预知的环境做出反应的机器人,那难度就会指数级的增长。目前,有两个有力的工具能够帮助机器人从试验中学习到这些技能,一个是深度学习,一个是强化学习。深度学习非常适合解决非结构化的真实世界场景,而强化学习能够实现较长期的推理(longer-term reasoning),同时能够在一系列决策时做出更好更鲁棒的决策。将这两个工具结合到一起,就有可能能够让机器人从自身经验中不断学习,使得机器人能够通过数据,而不是人工手动定义的方法来掌握运动感知的技能。
AI科技评论
2018/08/06
8320
学界 | 深度学习与强化学习相结合,谷歌训练机械臂的长期推理能力
一文带你了解基于视觉的机器人抓取自学习(Robot Learning)
“一眼就能学会动作”,或许对人而言,这样的要求有点过高,然而,在机器人的身上,这个想法正在逐步实现中。马斯克(Elon Musk)创立的人工智能公司Open AI研究通过One-Shot Imitation Learning算法(一眼模仿学习),让机器人能够复制人类行为。现阶段理想化的目标是人类教机器人一个任务,经过人类演示一次后,机器人可以自学完成指定任务。机器人学习的过程,与人类的学习具有相通之处,但是需要机器人能够理解任务的动作方式和动作意图,并且将其转化为机器人自身的控制运动上。
计算机视觉
2020/12/11
1.9K0
一文带你了解基于视觉的机器人抓取自学习(Robot Learning)
推荐阅读
1小时学会走路,10分钟学会翻身,世界模型让机器人迅速掌握多项技能
8840
“寓教于乐”,DeepMind新研究让机器人从0开始学习复杂精细动作
7170
机器人真的有意识了!突破狭义AI的自我学习机器人问世
1.1K0
谷歌教机器人理解语义,像人一样学习复杂技能 | 附3篇论文
8330
【重磅】DeepMind发布通用强化学习新范式,自主机器人可学会任何任务
1.1K0
机器人基于图像完成任务最有效的 RL 方法:无需预测未来,也无需严格假设!
6910
开发 | Facebook 最新开源框架 PyRobot,开辟 AI 机器人研究新纪元!
8160
25分钟训练机器人学会6个动作,伯克利开发高效机器人操纵框架
6660
UC伯克利研发史上最灵巧机器人,物品分拣每小时达300次
6890
DeepMind 升级深度强化学习,仅10小时训练16个机器人灵活操纵物体
1.4K0
身手不凡的机器人,开源项目汇总
8810
Facebook与CMU联手打造开源框架PyRobot,LeCun站台的机器人研发社区来了
5980
给AI一个洗衣机,TA会做点啥?斯坦福+FB研究了972种形状,只为教机器人开门
3500
基于视觉的仿人机器人灵巧操作:从模拟到现实的强化学习
1950
MoManipVLA——面向通用移动操作的视觉-语言-动作模型迁移
2200
前沿 | 谷歌提出Sim2Real:让机器人像人类一样观察世界
6480
DemoGen:用于数据高效视觉运动策略学习的合成演示生成
1450
机器人模仿人类动作一学就会,还能举一反三了 | 论文
1K0
学界 | 深度学习与强化学习相结合,谷歌训练机械臂的长期推理能力
8320
一文带你了解基于视觉的机器人抓取自学习(Robot Learning)
1.9K0
相关推荐
1小时学会走路,10分钟学会翻身,世界模型让机器人迅速掌握多项技能
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档