Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >鲁棒,抗遮挡的对柔性手抓取的物体6D姿态估计

鲁棒,抗遮挡的对柔性手抓取的物体6D姿态估计

作者头像
3D视觉工坊
发布于 2020-12-03 03:29:14
发布于 2020-12-03 03:29:14
5760
举报

标题:Robust, Occlusion-aware Pose Estimation for Objects Grasped by Adaptive Hands

作者: Bowen Wen, Chaitanya Mitash, Sruthi Soorian, Andrew Kimmel, Avishai Sintov and Kostas E. Bekris

机构:Rutgers University

来源:ICRA 2020

编译 : Bill

审核:管培育

摘要

大家好,今天为大家带来的文章是Robust, Occlusion-aware Pose Estimation for Objects Grasped by Adaptive Hands

许多机械臂的操纵任务, 比如放置,手中灵巧操纵需要估计物体姿态。物体被机械手的严重遮挡给物体姿态估计带来更多挑战。此外,对于柔性手,手的状态更难得到。对此本文提出了一个基于深度图的方法,目标是鲁棒和快速地估计出手中物体的姿态。首先我们通过并行搜索并根据观测点云和柔性手的模型快速估计出柔性手的姿态, 以便将柔性手相关的点云从场景点云中去除。然后,全局匹配算法根据剩余点云产生多个物体姿态假设并将他们聚类。 基于物理推理,错误的物体姿态被排除。剩余候选姿态中得分最高的被选为最终的姿态估计输出。大量的合成和真实数据集上的实验表明了此方法在挑战性的场景和被用于多种物体时的高精度,计算高效性和鲁棒性。代码和原文中的数据集均已开源: https://github.com/wenbowen123/icra20-hand-object-pose

背景与贡献

物体姿态估计

随着近年来6D物体姿态估计的发展,对于放置在桌上的物体姿态估计取得了良好效果。然而机械臂抓取和操作的流程中,从桌上抓取物体只是第一步,抓取后物体姿态的估计影响了后续的精准操纵和放置。

我们提出的框架具有以下特点:

1. 高精度: 即使在ADD-S 5mm的界限下,也取得了高准确率。

2. 高效性: 它能在0.5-0.7秒内同时估计出柔性手和物体的姿态。柔性手的姿态估计也能用于闭环控制。

3. 鲁棒性: 它能应用于多种物体,包括缺乏纹理,有混淆背景的场景下。

由于此前没有抓取中物体姿态估计的数据集,我们还发布了模拟和真实世界采集的两个大型数据集,每张图片的物体姿态都附带标注,以供相关工作的表现评估。

算法流程

1.整体结构

这项工作中,我们的目的是通过相机拍到的深度图和被操纵物体的CAD模型,求出被操纵物体的姿态。关于操纵过程中用到的机械手,本文考虑更具挑战性的柔性手。因为对于此类柔性手,手的姿态无法通过机器人的前向动力学直接得到。需要高效并行的蚁群搜索算法求解机械手的姿态。之后手的姿态有三个用途: 1) 移除机械手相关的点云,得到物体相关的感兴趣区域;2) 通过手的姿态和手的模型建立概率模型,启发式搜索和3D全局配准产生备选物体姿态;3)借助机械手的姿态和物理先验,消除严重遮挡条件下物体姿态的含糊性,筛选并得到最佳的物体姿态。

图1 本文提出的框架 首先根据输入的RGBD点云和柔性手的模型计算出手的姿态。此后手部相关的点云从场景中去除以得到不完美的物体部分点云。物体和CAD模型的全局匹配算法,产生多个物体姿态候选。后续的筛选过程输出最佳的物体姿态。

2. 方法

2.1 柔性手的姿态估计

图2 本文考虑的Yale T42柔性手的自由度

根据前向动力学,我们可以得到手腕的姿态。本文所考虑的柔性手不能直接得到手指的姿态。因此我们首先需要求解柔性手各个手指的姿态。根据柔性手的运动约束和碰撞约束,我们采用高度并行化的蚁群粒子算法搜索求解手指的姿态。我们将手指可活动域进行离散化,每个粒子代表了一种手指姿态的可能性。每次进化迭代时,鼓励新的粒子会在上一轮得分高的区域附近采样。其中手指姿态得分的目标函数在下面描述。

算法1 PSO目标函数的计算

2.2 备选物体姿态假设的产生

柔性手的整体姿态确定后,我们可以移除机械手部分的点云. 由于深度图存在噪声,我们还建立带符号的距离函数场SDF并以此建立指数分布概率模型,表明任意一点属于物体部分的概率,来进行软分割。对于全局3D配准我们基于Super4PCS算法,找出观测点云和物体CAD模型中匹配的共面4点组。并根据匹配点对求解物体姿态。为了使算法更高效我们还做了部分改进。在共面4点基采样过程中,采样过程服从前面建立的概率分布,鼓励从较可能为物体点的区域采样。另一方面,我们对CAD模型构建八叉树以便快速寻找完全匹配的全等4点组。4点组和4点基需要满足全等对角线长度和夹角,同时两两点对需要满足PPF特征匹配以更好地剔除离群匹配。通过不同的采样我们可以得到多个可能的物体姿态估计放入备选列表并聚类。

图3 通过一对观测点云中物体上采样的共面4点基和CAD模型上找到的全等共面4点组, 可以求解得到一个物体姿态转换假设

2.4 备选物体姿态的筛选

物理推理被用来排除不符合物理规律的备选物体姿态。首先我们进行碰撞和触摸检测,如果物体通过假设姿态转换后的模型和姿态估计转换后手的模型有渗透关系或者距离太大而悬空, 则该备选姿态被排除。这部分可以通过SDF高效实现。第二,我们进行Z-Buffer视线遮挡检测。由于深度图是通过锥头相机拍到,每个像素点的深度点到相机原点的射线之间在一定噪声下不应该存在其他点。如果用备选姿态转换后的物体3D点云不满足这样的分布,那么它也被排除.。经过物理排除后,剩下的备选姿态具有最高LCP得分的作为最佳姿态输出。

主要结果

图4 模拟数据集上和当前SOA方法的对比。表中,+HS表示为对比方法装备我们提出的手姿态估计模块。+ICP表示用ICP进行局部姿态修正

图5 实验用到的物体和柔性手

图 6 真实数据集上和其他方法对比结果. 左: ADD-S 5mm界限下的姿态准确率. 右: 召回率-界限的曲线

图7 估计结果的例子

图8 消融实验

图9 各模块运行速度

相关资源

代码和数据集:

https://github.com/wenbowen123/icra20-hand-object-pose

视频:

https://www.youtube.com/watch?v=jCt0-dJAvgI

点击阅读原文, 即可获取本文下载链接。

本文仅做学术分享,如有侵权,请联系删文。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-11-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 3D视觉工坊 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
综述:基于深度学习的物体姿态估计
本文综述了基于深度学习的物体姿态估计方法,内容涵盖了实例级、类别级和未见物体三种问题形式。主要内容包括:
一点人工一点智能
2024/05/16
6430
综述:基于深度学习的物体姿态估计
最新开源:BundleTrack - 无需任何CAD模型的6D物体姿态跟踪算法(谷歌X实习生)
最近,谷歌X的实习生Bowen Wen新开源了用于6D物体姿态跟踪的代码BundleTrack,该工作已经被今年的IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS)录用。其中Bowen Wen为该论文唯一学生作者,此前也是se(3)-TrackNet的第一作者(目前state of art的基于CAD模型的6D姿态跟踪算法),目前为美国Rutgers大学的在读博士,过去几年曾在Facebook Reality Labs, 亚马逊和商汤科技实习。
计算机视觉
2021/10/11
1K0
CVPR 2024 | 零样本6D物体姿态估计框架SAM-6D,向具身智能更进一步
物体姿态估计在许多现实世界应用中起到至关重要的作用,例如具身智能、机器人灵巧操作和增强现实等。
机器之心
2024/03/26
7180
CVPR 2024 | 零样本6D物体姿态估计框架SAM-6D,向具身智能更进一步
大盘点|6D姿态估计算法汇总(下)
http://mi.eng.cam.ac.uk/projects/relocalisation/
3D视觉工坊
2020/12/11
1.3K0
大盘点|6D姿态估计算法汇总(下)
大盘点|6D姿态估计算法汇总(上)
主要思想:用于从RGB-D图像中估计一组已知对象的6D位姿,分别处理两个数据源,并使用一种新的dense fusion network来提取像素级的 dense feature embedding,并从中估计姿态。实验结果表明,该方法在YCB-Video和Linemod两种数据集上均优于现有的方法。论文还将所提出的方法应用到一个真实的机器人上,根据所估计的姿态来抓取和操纵物体。
3D视觉工坊
2020/12/11
1.7K0
大盘点|6D姿态估计算法汇总(上)
物体的三维识别与6D位姿估计:PPF系列论文介绍(三)
文章“A Method for 6D Pose Estimation of Free-Form Rigid Objects Using Point Pair Features on Range Data” 2018年发表在《sensors》上,是近年来对PPF方法的进一步继承与改进。
3D视觉工坊
2020/12/11
1.3K0
物体的三维识别与6D位姿估计:PPF系列论文介绍(三)
物体的三维识别与6D位姿估计:PPF系列论文介绍(四)
文章“3D Pose Estimation of Daily ObjectsUsing an RGB-D Camera”2012发表在IEEE/RSJInternational Conference on Intelligent Robots and Systems上,这篇文章对原始点对特征(PPF)作了一个很大的改进。
3D视觉工坊
2020/12/11
6720
物体的三维识别与6D位姿估计:PPF系列论文介绍(四)
6D目标姿态估计,李飞飞夫妇等提出DenseFusion
6D 目标姿态估计对许多重要的现实应用都很关键,例如机器人抓取与操控、自动导航、增强现实等。理想情况下,该问题的解决方案要能够处理具有各种形状、纹理的物体,且面对重度遮挡、传感器噪声、灯光条件改变等情况都极为稳健,同时还要有实时任务需要的速度。RGB-D 传感器的出现,使得在弱灯光环境下推断低纹理目标姿态的准确率比只用 RGB 方法的准确率更高。尽管如此,已有的方法难以同时满足姿态估计准确率和推断速度的需求。
机器之心
2019/04/30
1.1K0
6D目标姿态估计,李飞飞夫妇等提出DenseFusion
最新综述:基于深度学习方式的单目物体姿态估计与跟踪
原文:Deep Learning on Monocular Object Pose Detection and Tracking: A Comprehensive Overview
计算机视觉
2021/07/05
1.3K0
基于对应点的6D姿态识别
最近读取了一些针对Corresponding-based方法的6D姿态识别paper,在这里分享下思路。
3D视觉工坊
2020/12/11
1.1K0
基于对应点的6D姿态识别
6D位姿估计Point Pair Feature (PPF)算法详解
论文: Drost et al. Model Globally, Match Locally: Efficient and Robust 3D Object Recognition. CVPR, 2010.
3D视觉工坊
2021/05/20
3K0
机器人收集 + Keypose 算法:准确估计透明物体的 3D 姿态
计算机视觉应用领域的核心问题是 3D 物体的位置与方向的估计,这与对象感知有关(如增强现实和机器人操作)。在这类应用中,需要知道物体在真实世界中的 3D 位置,以便直接对物体进行操作或在其四周正确放置模拟物。
磐创AI
2020/09/28
9340
机器人收集 + Keypose 算法:准确估计透明物体的 3D 姿态
用于类别级物体6D姿态和尺寸估计的标准化物体坐标空间
本文的目的是估计RGB-D图像中未见过的对象实例的6D姿态和尺寸。与“实例级”6D姿态估计任务相反,我们的问题假设在训练或测试期间没有可用的精确对象CAD模型。为了处理给定类别中不同且未见过的对象实例,我们引入了标准化对象坐标空间(NOCS)-类别中所有可能对象实例的共享规范表示。然后,我们训练了基于区域的神经网络,可以直接从观察到的像素向对应的共享对象表示(NOCS)推断对应的信息,以及其他对象信息,例如类标签和实例蒙版。可以将这些预测与深度图结合起来,共同估算杂乱场景中多个对象的6D姿态和尺寸。为了训练我们的网络,我们提出了一种新的上下文感知技术,以生成大量完全标注的混合现实数据。为了进一步改善我们的模型并评估其在真实数据上的性能,我们还提供了具有大型环境和实例变化的真实数据集。大量实验表明,所提出的方法能够稳健地估计实际环境中未见过的对象实例的姿态和大小,同时还能在标准6D姿态估计基准上实现最新的性能。
计算机视觉
2020/12/29
8580
se(3)-TrackNet: 数据驱动的动态6D物体姿态跟踪, 基于合成域的图片残差校准
标题:se(3)-TrackNet: Data-driven 6D Pose Trackingby Calibrating Image Residuals in Synthetic Domains
3D视觉工坊
2021/01/13
9330
se(3)-TrackNet: 数据驱动的动态6D物体姿态跟踪, 基于合成域的图片残差校准
KRF:一种新的6D姿态估计改进方法
原文:KRF: Keypoint Refinement with Fusion Network for 6D Pose Estimation
一点人工一点智能
2022/12/27
1K0
KRF:一种新的6D姿态估计改进方法
CVPR 2024满分论文,英伟达开源BOP排行榜6D物体姿态第一名方法
物体姿态估计对于各种应用至关重要,例如机器人操纵和混合现实。实例级方法通常需要纹理 CAD 模型来生成训练数据,并且不能应用于测试时未见过的新物体;而类别级方法消除了这些假设(实例训练和 CAD 模型),但获取类别级训练数据需要应用额外的姿态标准化和检查步骤。
机器之心
2024/04/12
3380
CVPR 2024满分论文,英伟达开源BOP排行榜6D物体姿态第一名方法
AHPPEBot:基于表型和姿态估计的自主番茄采摘机器人
论文:AHPPEBot: Autonomous Robot for Tomato Harvesting based on Phenotyping and Pose Estimation
一点人工一点智能
2024/05/22
5190
AHPPEBot:基于表型和姿态估计的自主番茄采摘机器人
CVPR2021 | 国防科大:基于几何稳定性分析的物体位姿估计方法
机器之心专栏 机器之心编辑部 物体6D姿态估计是机器人抓取、虚拟现实等任务中的核心研究问题。近些年来,随着深度学习技术和图像卷积神经网络的快速发展,在提取物体的几何特征方面出现了许多需要改善的问题。国防科技大学的研究人员致力于通过将几何稳定性概念引入物体 6D 姿态估计的方法来解决问题。 物体 6D 姿态估计的目的是确定物体从模型坐标系到相机坐标系的刚性变换矩阵。现有方法通常通过求解观测物体与物体三维模板模型的对应关系或使用深度神经网络回归的方法计算物体位姿。得益于图像卷积神经网络的发展,现有位姿估计方法大
机器之心
2023/03/29
5840
CVPR2021 | 国防科大:基于几何稳定性分析的物体位姿估计方法
基于投票方式的机器人装配姿态估计
论文题目:《Voting-Based Pose Estimation for Robotic Assembly Using a 3D Sensor》
3D视觉工坊
2020/12/11
7120
OnePose: 无CAD模型的one-shot物体姿态估计(CVPR 2022)
OnePose: One-Shot Object Pose Estimation without CAD Models
3D视觉工坊
2023/04/29
5710
OnePose: 无CAD模型的one-shot物体姿态估计(CVPR 2022)
推荐阅读
相关推荐
综述:基于深度学习的物体姿态估计
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档