Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Facebook最新研究:4小时让机器人学会2千种操作

Facebook最新研究:4小时让机器人学会2千种操作

作者头像
新智元
发布于 2019-10-10 03:37:08
发布于 2019-10-10 03:37:08
5230
举报
文章被收录于专栏:新智元新智元

新智元报道

来源:VentureBeat

编辑:鹏飞

【新智元导读】Facebook AI Research团队在训练两个Sawyer机械臂操作目标对象时提出了一种模式训练方法,研究人员认为许多任务学习的过程都可分为两个阶段:一是学习任务模式(如动作是抓、握、扭、拾取等),二是学习使用相关动作着力的依据(如施力位置、力的大小、目标姿势等)。通过这两个阶段的视觉图像学习,大约4到10小时即学会了2000种操作技能,成功率超过90%。 >>> 人工智能改变中国,我们还要跨越这三座大山 | 献礼 70 周年

双臂机器人如何完成打开瓶子的任务?

总是需要用一只手抓住瓶子的底部,同时用另一只手抓住瓶盖并拧开,这种对人类来说小儿科的操作,让机器来做就要费很多事。这种高级操作步骤,就是所谓的Schema。

不过值得庆幸的是,它不受对象的几何和空间状态的影响。不过,与旨在通过学习策略来解决任务的强化学习技术相比,schema的优势在于:不需要在数小时、数周甚至数月的时间内提取数百万个示例。

最近,Facebook AI Research的一个团队,试图使用两个可以从库中选择正确步骤的Sawyer机械臂来实现这个目的。在每个时间步长上,他们的智能体都必须决定使用什么技能、以及要使用哪些论据来达成目标。例如,施加力的位置、力的大小、要移动的目标姿势等等。

尽管涉及复杂性,不过该团队表示他们的方法提高了学习效率,因此仅需几个小时的训练,机械臂就可以发现操纵技能。

团队的主要见解是:对于许多任务,学习过程可以分为两个部分,分别是(1)学习任务模式和(2)学习为不同技能选择适当参数化的策略。

他们认为,这种方法可以加快学习速度,部分原因是可以使用来自给定任务不同版本的数据来提高共享技能。而且,他们说这允许在相关任务之间转移学习到的模式。

该论文的共同作者详细解释称,假设我们已经学会了一种很好的方案,在一个模拟环境中我们可以访问对象的姿势、几何信息等、以及更多内容,然后在这个模拟环境中举起个长条,那么我们就可以将该模式重新用于相关任务,例如仅从原始摄像机观察结果中拾取现实世界中的托盘。

即使状态空间和最佳参数化(例如,抓握姿势)都存在显著差异。由于该模式是固定的,因此针对该任务栏提取任务的策略学习将非常有效,因为它仅需要学习每种技能的(与观察相关的)参数。

研究人员为上述两个机械臂提供了一个通用的技能库,例如扭转、提升和伸展,他们必须将其应用于涉及不同对象、几何形状和初始姿势的多个横向提升、拾取、打开和旋转任务。

在MuJoCo(模拟环境)中,通过使用低维输入数据进行训练,例如几何和本体感受特征(关节位置,关节速度,末端执行器姿势)等,然后在模拟和现实世界中都转换为可视输入。

在实验过程中,Sawyer手臂(配备摄像头,并由Facebook的PyRobot开源机器人平台控制)的任务是操纵包括面杖、足球、玻璃罐和T型扳手在内的9个常用物品。

完成任何任务都需要两个相互配合的爪子。尽管必须从原始视觉图像中学习,但他们说系统在大约4到10个小时的训练中学会了使用2000种技能来操纵大多数项目,并且成功率超过90%。

论文的共同作者写道:“我们已经研究了如何利用与状态无关的技能序列来大大提高无模型强化学习的样本效率。此外,我们已经通过实验表明,将在模拟环境中学习到的技能序列,转移到现实世界中的任务,使我们能够非常有效地解决图像中的稀疏奖励问题,从而使训练真正的机器人执行诸如双手操作之类的复杂技能变得可行。”

参考链接:

https://venturebeat.com/2019/10/07/facebooks-ai-teaches-robots-to-manipulate-objects-in-less-than-10-hours-of-training/

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-10-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 新智元 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
“寓教于乐”,DeepMind新研究让机器人从0开始学习复杂精细动作
别小看这个笨拙地抓起、移动着物体的机器人,它可是DeepMind的最新研究成果。 有什么特别之处呢?这个机械臂可是在现实世界中直接训练的,没有搞现在模拟器里训练一个智能体,再迁移出来那一套。 这项研究
量子位
2018/03/20
7170
“寓教于乐”,DeepMind新研究让机器人从0开始学习复杂精细动作
25分钟训练机器人学会6个动作,伯克利开发高效机器人操纵框架
这就是来自加州大学伯克利分校的一项新研究——高效机器操作框架Framework for Efficient Robotic Manipulation(FERM),专门对机械臂进行高效率操作的算法训练。
AI 电堂
2021/01/08
6660
MoManipVLA——面向通用移动操作的视觉-语言-动作模型迁移
项目链接:https://gary3410.github.io/momanipVLA/
一点人工一点智能
2025/03/27
2200
MoManipVLA——面向通用移动操作的视觉-语言-动作模型迁移
1小时学会走路,10分钟学会翻身,世界模型让机器人迅速掌握多项技能
选自arXiv 机器之心编译 编辑:小舟、蛋酱 世界模型在实体机器人上能发挥多大的作用? 教机器人解决现实世界中的复杂任务,一直是机器人研究的基础问题。深度强化学习提供了一种流行的机器人学习方法,让机器人能够通过反复试验改善其行为。然而,当前的算法需要与环境进行过多的交互才能学习成功,这使得它们不适用于某些现实世界的任务。 为现实世界学习准确的世界模型是一个巨大的开放性挑战。在最近的一项研究中,UC 伯克利的研究者利用 Dreamer 世界模型的最新进展,在最直接和最基本的问题设置中训练了各种机器人:无
机器之心
2022/07/01
8840
1小时学会走路,10分钟学会翻身,世界模型让机器人迅速掌握多项技能
UC伯克利研发史上最灵巧机器人,物品分拣每小时达300次
精彩回顾 2018 新智元产业跃迁 AI 技术峰会今天隆重启幕,点击链接观看大会盛况: 爱奇艺 http://www.iqiyi.com/l_19rr3aqz3z.html 腾讯新闻 http://v.qq.com/live/p/topic/49737/preview.html 新浪科技 http://video.sina.com.cn/l/p/1722511.html 云栖社区 https://yq.aliyun.com/webinar/play/419 斗鱼直播 https://www.
新智元
2018/04/18
6890
UC伯克利研发史上最灵巧机器人,物品分拣每小时达300次
基于视觉的仿人机器人灵巧操作:从模拟到现实的强化学习
本文聚焦于通过**Sim-to-Real强化学习(RL)**实现仿人机器人基于视觉的灵巧操作任务。灵巧操作(如抓取、搬运、双手交接)是机器人领域长期以来的技术难点,传统方法依赖人工编程或示教,难以适应复杂多变的物体属性和动态环境。论文提出一种系统化方法,通过解决环境建模、奖励设计、策略学习与感知迁移四大挑战,构建了一个可扩展的Sim-to-Real框架。其核心目标是通过模拟环境中的高效训练,将策略无缝迁移至真实硬件,实现对多样化物体的鲁棒操作。
一点人工一点智能
2025/03/07
1950
基于视觉的仿人机器人灵巧操作:从模拟到现实的强化学习
机器人真的有意识了!突破狭义AI的自我学习机器人问世
过去几十年来,拥有自我意识的机器人一直是科幻小说最喜欢的题材之一,现在,这个过去只存在与科幻小说中的事物离我们越来越近了。
新智元
2019/05/08
1.1K0
机器人真的有意识了!突破狭义AI的自我学习机器人问世
DemoGen:用于数据高效视觉运动策略学习的合成演示生成
论文链接:https://demo-generation.github.io/paper.pdf
一点人工一点智能
2025/04/02
1450
DemoGen:用于数据高效视觉运动策略学习的合成演示生成
学界 | 看一遍人类动作就能模仿,能理解语义的谷歌机器人登上无监督学习的新高度
AI 科技评论按:机器学习能让机器人学会复杂的技能,例如抓住把手打开门。然而学习这些技能需要先人工编写一个奖励函数,然后才能让机器人开始优化它。相比之下,人类可以通过观察别人的做法来理解任务的目标,或者只是被告知目标是什么,就可以完成任务。目前,谷歌期望通过教会机器人理解语义概念,以使得机器人能够从人类的示范中学习动作,以及理解物体的语义概念,完成抓取动作。 以下为 AI 科技评论编译的这篇谷歌博客的部分内容。 问题的引入 人类与机器人不同,我们不需要编写目标函数即可以完成许多复杂的任务。我们可以这样做,是
AI科技评论
2018/03/13
1.4K0
学界 | 看一遍人类动作就能模仿,能理解语义的谷歌机器人登上无监督学习的新高度
CoRL2018最佳论文:抓取新物体成功率96%的深度强化学习机械臂
AI 科技评论按:致力于研究机器人与机器学习技术之间互动的新晋学术会议 CoRL 2018 于 10 月 29 日到 31 日在瑞士苏黎世召开。虽然 CoRL 于 2017 年才举办第一届,但由于会议关注的方向新颖有趣,仍然吸引了高水平研究人员们的关注。尤其是与 ICRA 相比的话,虽然两者都是关于机器人的学术会议,但是由于关注的方法和对成果的要求不同,机器学习研究人员们得以在 CoRL 上更自由地发挥。
AI科技评论
2018/12/11
2.4K0
CoRL2018最佳论文:抓取新物体成功率96%的深度强化学习机械臂
【重磅】DeepMind发布通用强化学习新范式,自主机器人可学会任何任务
---- 新智元报道 来源:DeepMind 编译:Marvin 【新智元导读】DeepMind今天发表博客文章,提出一种称为SAC-X(计划辅助控制)的新学习范式,旨在解决让AI以最少的先验知识,从头开始学习复杂控制问题的挑战。这在真实环境中成功让机械臂从头开始学习拾放物体。研究者认为,SAC-X是一种通用的强化学习方法,未来可以应用于机器人以外的更广泛领域。 让孩子(甚至成年人)在使用物品之后自己收拾可能是颇有挑战性的事情,但我们面临一个更大的挑战:试图让我们的AI也这样做。成功与否取决于
新智元
2018/03/12
1.1K0
【重磅】DeepMind发布通用强化学习新范式,自主机器人可学会任何任务
给AI一个洗衣机,TA会做点啥?斯坦福+FB研究了972种形状,只为教机器人开门
这是人类在日常生活中与周围物体互动的简单场景之一,对人类来说,拉开一个洗衣机门是自然而然的行为。
大数据文摘
2021/02/08
3500
前沿 | 谷歌提出Sim2Real:让机器人像人类一样观察世界
人们非常擅长在不将视点调整到某一固定或特殊位置的情况下操纵物体。这种能力(我们称之为「视觉动作整合」)在孩童时期通过在多种情形中操纵物体而习得,并由一种利用丰富的感官信号和视觉作为反馈的自适应纠错机制控制。然而,在机器人学中,基于视觉的控制器很难获得这种能力,目前来看,这种控制器都基于一种用来从固定安装的摄像头读取视觉输入数据的固定装置。在视点大幅变化的情况下快速获取视觉运动控制技能的能力将对自动机器人系统产生重大影响——例如,这种能力对于参与救援工作或在灾区作业的机器人来说尤其必要。
机器之心
2018/07/26
6480
前沿 | 谷歌提出Sim2Real:让机器人像人类一样观察世界
前沿 | BAIR展示新型模仿学习,学会「像人」那样执行任务
通过观察另一个人来学习新技能的模仿能力,是体现人类和动物智能的关键部分。我们是否可以让一个机器人做同样的事情?通过观察人类操作物体进而学会操作一个新的物体,就像下面视频中一样。
机器之心
2018/07/26
4820
前沿 | BAIR展示新型模仿学习,学会「像人」那样执行任务
Facebook与CMU联手打造开源框架PyRobot,LeCun站台的机器人研发社区来了
Facebook的AI团队最近对机器人技术非常着迷。过去一年Facebook没少在机器人上下苦功,从六足机器人,到Replica真实感训练数据集,到Habitat模拟引擎,最近又推出了PyRobot。从名称就可以看出,这是一个基于PyTorch的机器人框架。
新智元
2019/07/05
5980
Facebook与CMU联手打造开源框架PyRobot,LeCun站台的机器人研发社区来了
学界 | 深度学习与强化学习相结合,谷歌训练机械臂的长期推理能力
AI 科技评论按:机器人如何能够学到在多样且复杂的真实世界物体和环境中能够广泛使用的技能呢?如果机器人是设计用来在可控环境下进行高效的重复工作,那么这个任务就相对来说更加简单,比如设计一个在流水线上组装产品的机器人。但要是想要设计能够观察周围环境,根据环境决定最优的行动,同时还能够对不可预知的环境做出反应的机器人,那难度就会指数级的增长。目前,有两个有力的工具能够帮助机器人从试验中学习到这些技能,一个是深度学习,一个是强化学习。深度学习非常适合解决非结构化的真实世界场景,而强化学习能够实现较长期的推理(longer-term reasoning),同时能够在一系列决策时做出更好更鲁棒的决策。将这两个工具结合到一起,就有可能能够让机器人从自身经验中不断学习,使得机器人能够通过数据,而不是人工手动定义的方法来掌握运动感知的技能。
AI科技评论
2018/08/06
8320
学界 | 深度学习与强化学习相结合,谷歌训练机械臂的长期推理能力
业界 | CMU和谷歌联手研制左右互搏的对抗性机器人
选自IEEE Spectrum 机器之心编译 作者:Evan Ackerman 参与:蒋思源、Smith CMU 和谷歌研究者正在使用基于博弈论和深度学习的对抗性训练策略来提升操作性任务,如抓取物体
机器之心
2018/05/07
8560
业界 | CMU和谷歌联手研制左右互搏的对抗性机器人
【李飞飞团队最新研究】神经任务编程NTP,具有强大泛化能力的机器人学习框架
【新智元导读】斯坦福大学计算机视觉实验室李飞飞团队的最新研究提出一个新的机器人学习框架:神经任务编程(NTP),在机械臂的物品堆叠、分拣和桌面清理三类任务中,证明该框架具有强大的泛化到未知任务的能力。
新智元
2018/03/21
1K0
【李飞飞团队最新研究】神经任务编程NTP,具有强大泛化能力的机器人学习框架
一文带你了解基于视觉的机器人抓取自学习(Robot Learning)
“一眼就能学会动作”,或许对人而言,这样的要求有点过高,然而,在机器人的身上,这个想法正在逐步实现中。马斯克(Elon Musk)创立的人工智能公司Open AI研究通过One-Shot Imitation Learning算法(一眼模仿学习),让机器人能够复制人类行为。现阶段理想化的目标是人类教机器人一个任务,经过人类演示一次后,机器人可以自学完成指定任务。机器人学习的过程,与人类的学习具有相通之处,但是需要机器人能够理解任务的动作方式和动作意图,并且将其转化为机器人自身的控制运动上。
计算机视觉
2020/12/11
1.9K0
一文带你了解基于视觉的机器人抓取自学习(Robot Learning)
机器人基于图像完成任务最有效的 RL 方法:无需预测未来,也无需严格假设!
AI 科技评论按:对于机器人强化学习来说,基于视觉的物块堆叠和推动是最常见的任务,为了减小训练过程的成本和安全问题,我们希望最小化训练过程中与环境交互的次数。但从相机这样复杂的图像传感器中进行高效学习却十分困难。为了解决这一问题,伯克利的研究人员提出了一种新型基于模型的强化学习方法并发表了相关文章介绍了这一成果,AI 科技评论将其编译如下。
AI科技评论
2019/07/12
6920
机器人基于图像完成任务最有效的 RL 方法:无需预测未来,也无需严格假设!
推荐阅读
“寓教于乐”,DeepMind新研究让机器人从0开始学习复杂精细动作
7170
25分钟训练机器人学会6个动作,伯克利开发高效机器人操纵框架
6660
MoManipVLA——面向通用移动操作的视觉-语言-动作模型迁移
2200
1小时学会走路,10分钟学会翻身,世界模型让机器人迅速掌握多项技能
8840
UC伯克利研发史上最灵巧机器人,物品分拣每小时达300次
6890
基于视觉的仿人机器人灵巧操作:从模拟到现实的强化学习
1950
机器人真的有意识了!突破狭义AI的自我学习机器人问世
1.1K0
DemoGen:用于数据高效视觉运动策略学习的合成演示生成
1450
学界 | 看一遍人类动作就能模仿,能理解语义的谷歌机器人登上无监督学习的新高度
1.4K0
CoRL2018最佳论文:抓取新物体成功率96%的深度强化学习机械臂
2.4K0
【重磅】DeepMind发布通用强化学习新范式,自主机器人可学会任何任务
1.1K0
给AI一个洗衣机,TA会做点啥?斯坦福+FB研究了972种形状,只为教机器人开门
3500
前沿 | 谷歌提出Sim2Real:让机器人像人类一样观察世界
6480
前沿 | BAIR展示新型模仿学习,学会「像人」那样执行任务
4820
Facebook与CMU联手打造开源框架PyRobot,LeCun站台的机器人研发社区来了
5980
学界 | 深度学习与强化学习相结合,谷歌训练机械臂的长期推理能力
8320
业界 | CMU和谷歌联手研制左右互搏的对抗性机器人
8560
【李飞飞团队最新研究】神经任务编程NTP,具有强大泛化能力的机器人学习框架
1K0
一文带你了解基于视觉的机器人抓取自学习(Robot Learning)
1.9K0
机器人基于图像完成任务最有效的 RL 方法:无需预测未来,也无需严格假设!
6920
相关推荐
“寓教于乐”,DeepMind新研究让机器人从0开始学习复杂精细动作
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档