文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

基于深度学习的单目人体姿态估计方法综述（一）

一、Introduction 人体姿态估计(HPE)任务已经发展了几十年，其目标是从给定的传感器输入中获取人体的姿态。基于视觉的方法经常被用来通过使用摄像机来提供这样的解决方案。...视频监控：视频监控是早期采用人体姿态估计技术对特定范围内的人进行跟踪、动作识别、再识别的应用之一。...广泛使用的基于轮廓的模型包括纸板模型和活动形状模型。 (3) 基于体积的模型：三维人体形状和姿势通常由具有几何形状或网格的基于体积的模型来表示。早期用于建模身体部位的几何形状包括圆柱、圆锥等。...Tan等人通过首先训练解码器以使用合成数据从SMPL参数预测轮廓，然后使用训练的解码器学习图像编码器来推断SMPL参数。训练后的编码器可以根据输入图像预测SMPL参数。...最后，对时间稳定性和运动骨架拟合作出了改进。

1.6K10

基于深度学习的单目人体姿态估计方法综述（一）

一、Introduction 人体姿态估计(HPE)任务已经发展了几十年，其目标是从给定的传感器输入中获取人体的姿态。基于视觉的方法经常被用来通过使用摄像机来提供这样的解决方案。...视频监控：视频监控是早期采用人体姿态估计技术对特定范围内的人进行跟踪、动作识别、再识别的应用之一。...(2) 基于轮廓的模型：基于轮廓的模型广泛应用于早期的人体姿态估计方法中，它包含了人体肢体和躯干的大致宽度和轮廓信息。人体各部分用人体轮廓的矩形或边界近似表示。...广泛使用的基于轮廓的模型包括纸板模型和活动形状模型。 (3) 基于体积的模型：三维人体形状和姿势通常由具有几何形状或网格的基于体积的模型来表示。早期用于建模身体部位的几何形状包括圆柱、圆锥等。...Tan等人通过首先训练解码器以使用合成数据从SMPL参数预测轮廓，然后使用训练的解码器学习图像编码器来推断SMPL参数。训练后的编码器可以根据输入图像预测SMPL参数。

1.1K20
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    CVPR 2018摘要：第二部分

    为了更好地衡量，我们还回顾了一些关于物体跟踪的论文，这些论文与人类没有直接关系（但人类肯定是最有趣的科目之一）。 检测和跟踪：具有姿态估计的两步跟踪 R....Girdhar等人，“检测与跟踪：视频中的高效姿态估计” ? 我们已经利用Mask R-CNN实现分割，这是2017年出现的最有前途的分割方法之一。...去年，基本的Mask R-CNN的几个扩展和修改出现了，卡内基梅隆的合作， Facebook和Dartmouth提出了另一个：作者提出了一个3D Mask R-CNN架构，该架构使用时空卷积来提取特征并直接识别短片上的姿势...单张图像的3D姿势：从2D姿势和2D轮廓构造3D网格 G. Pavlakos等人，从单一彩色图像学习估计3D人体姿势和形状 ?...作者报告显着改进了跟踪，并显示了经常看起来非常合理的学习可靠性图： ? 这就是所有的文章，朋友们。 感谢您的关注。

    38020

    论文简述 | CamVox: 一种低成本、高精度的激光雷达辅助视觉SLAM系统

    ORB-SLAM通过提取图像中的ORB特征来跟踪对象,并使用闭环检测来全局优化地图和姿态,这通常是快速和稳定的.然而它不能精确地恢复真实的比例因子,因为绝对深度比例对于相机是未知的....,使用直接方法而不是特征点来估计姿态.此外它将视觉数据和点云紧耦合,并输出估计的姿态.邵等人进一步将双目相机、IMU和激光雷达融合在一起.他们展示了利用双目视觉惯性在室外真实场景中的良好表现里程计(VIO....这些年来,许多校准技术都是基于固定的校准目标或人工努力,如[13]和[14].在[15]潘迪等人利用CRLB证明了校准参数的存在性,并通过计算MVUB估计量来估计它们.Iyer等人在[16]中提出了一种称为...整个校准算法的结构如图7所示.首先通过使用反射率和深度值的初始外部参数将密集点云投影到成像平面上,然后执行轮廓提取以与相机图像轮廓进行比较.代价函数由一种改进的ICP算法构造,可以通过Ceres进行优化...在这种情况下，我们通过增加一定程度的不匹配来改进ICP中的成本函数。改进的成本函数如公式所示。

    1.3K20

    一文了解动态场景中的SLAM的研究现状

    一些动态SLAM系统通过假设刚体以及速度恒定，来约束和改善姿态估计结果，但其中并没有明确的对象概念。 动态对象SLAM的元素 DOS系统引入了对象的概念，这个概念具有以下几个内容。...S3DOT预测极端截断的汽车姿态、预测一致的轨道并估计被跟踪汽车的速度 对象提取 这种对象提取方式的灵感来自Deep3DBox。它利用物体检测得到的2D边界框和8个视点进行分类。...通过运动学模型可以进行运动估计。它涉及车辆的3维位置，速度，转向角。 动态点云对准误差：在将上述误差最小化之后，我们基于先验尺寸获得了物体姿态的MPA估计。...使用反透视映射（IPM）对地面区域进行语义分割并在该区域中进行特征点匹配，以估计3D深度，以此固定比例因子，并用于里程计中。 ?...MoMoSLAM的公制里程估算 多对象姿态图循环一致性误差：姿态图中的节点为估计，姿态图中的边为度量。相机-相机边缘是通过公制标度里程限制的。摄像机车辆的边缘通过2D到3D单帧提升来约束。

    4.2K20

    大盘点|基于RGB图像下的机器人抓取

    Graspability Score and Grasp Regression for Better Grasp Prediction 本文提出了一种新的深度卷积网络结构，该结构通过引入新的丢失量，利用抓取质量评价来改进抓取回归...本文提出了一种用于机器人拾取和定位的新目标实时抓取姿态估计策略。该方法在点云中估计目标轮廓，并在图像平面上预测抓取姿态和目标骨架。...生成鲁棒推理与感知（GRIP）作为一个两阶段的目标检测与姿态估计系统，目的是结合CNN的可区分相对优势和生成推理方法来实现鲁棒估计。在GRIP中，将推理的第一阶段表示为基于CNN的识别分布。...本文证明，GRIP方法在不同光照和拥挤遮挡的对抗场景下，相对于最先进的姿态估计系统PoseCNN和DOPE，达到了SOTA。...现有方法使用静态相机位置或固定数据收集例程，本文的多视图拾取（MVP）控制器通过使用主动感知方法直接基于实时抓取姿势估计的分布来选择信息视点，从而减少杂波和遮挡造成的抓取姿势的不确定性。

    1.1K10

    从事人脸识别研究必读的N篇文章

    之所以选择这篇，是因为其贡献点相对比较多：一是因为这篇文章第一次将real adaboost应用于物体检测，二是其提出了一个比较成熟实用的多姿态人脸检测框架，三是其提出的nest结构对cascade结构的改进确实有不错的效果...人脸特征点定位 人脸特征点定位的目的是在人脸检测/跟踪获取的人脸区域的基础上，进一步，确定脸部特征点（眼睛、嘴巴中心点、眼睛、嘴巴轮廓特征点、器官轮廓特征点等）的位置。...入选理由： 这篇文章是上述提到的ASM相关改进的另外一个方向，就是对形状模型本身的改进。这篇文章没有用PCA去约束形状模型，而是基于训练样本的线性组合来约束形状。...，可以考虑用3D模型和深度信息来提高系统的稳定性； 4.在做人脸识别实际系统时，可以更关注姿态、遮挡、表情变化对于识别效果的影响，对于人脸光照问题，虽然之前学术界关注很多，但是对于实际数据（非实验室采集的光照模拟数据...，比如采用类似推荐论文9中的方式，采用多个局部模型而不是一个整体模型来进行表示，还可以考虑一些人脸姿态/表情矫正方法； 5.学术界的朋友，鉴于目前LFW上面已经做到准确率95%（引入外部训练数据且无约束训练协议

    98840

    大盘点|基于RGB图像下的机器人抓取

    Graspability Score and Grasp Regression for Better Grasp Prediction 本文提出了一种新的深度卷积网络结构，该结构通过引入新的丢失量，利用抓取质量评价来改进抓取回归...本文提出了一种用于机器人拾取和定位的新目标实时抓取姿态估计策略。该方法在点云中估计目标轮廓，并在图像平面上预测抓取姿态和目标骨架。...生成鲁棒推理与感知（GRIP）作为一个两阶段的目标检测与姿态估计系统，目的是结合CNN的可区分相对优势和生成推理方法来实现鲁棒估计。在GRIP中，将推理的第一阶段表示为基于CNN的识别分布。...本文证明，GRIP方法在不同光照和拥挤遮挡的对抗场景下，相对于最先进的姿态估计系统PoseCNN和DOPE，达到了SOTA。...现有方法使用静态相机位置或固定数据收集例程，本文的多视图拾取（MVP）控制器通过使用主动感知方法直接基于实时抓取姿势估计的分布来选择信息视点，从而减少杂波和遮挡造成的抓取姿势的不确定性。

    85720

    机器人与触觉传感技术的碰撞，一文初探人类与机器人的触觉传感

    人类通过多种探索方法来获得关于物体的知识，例如侧向运动、压力、封闭、轮廓跟踪、物体部分运动测试和启示性测试等。...利用触觉信息，机器人可以调整以减小对人的姿态估计中的误差，并在提供穿衣辅助的同时，实时跟踪该人的轮廓和动作。...然而，由于前向模型不完善，姿态的初始值有噪声，可以通过引入观测反馈（触觉感知的一种方式）来改进姿态估计。令 D 表示机器人关节的数目，L 为它的接触传感器的数目。...在仿真实验中，首先用手跟踪操作系统采集手部目标的操纵轨迹，然后通过离线运行本文提出的算法来评估姿态估计误差。...OLP 使用 1 个模拟来跟踪对象的姿势。EYE 使用一组有噪声的初始姿态进行初始化，并且总是选择成本最低的模拟姿态，但它不执行任何重新采样或优化器更新处理。

    2.5K50

    学界 | 谷歌新研究，自监督视频上色约等于目标追踪和姿态估计

    AI 科技评论按：本文发布于 Google AI Blog，介绍了 Google 一项最新研究成果——自监督学习下的视频着色模型，还可以直接用于视频目标跟踪和人体姿态估计。...模型可以跟踪轮廓中的对象或是视频中的单个像素点。所需要做的唯一改变就是，现在在整个视频中传播的是代表感兴趣区域的标签，而不是颜色。...跟踪器分析 由于模型是针对大量未标记的视频进行训练的，因此谷歌的研究人员们希望能够深入了解模型学到的内容。...这表明了学习到的嵌入向量是按照对象主体来划分图像中的像素点。 姿态跟踪 谷歌的研究人员们发现该模型还可以在初始帧给定了人体关键点之后，跟踪人体姿态。...他们在公开的学术数据集 JHMDB 上做了可视化，展示了人体姿态估计跟踪。 ? ? ? 该样例展示了使用着色模型实现人体骨骼点跟踪。

    61330

    3D姿态估计|时序卷积+半监督训练

    论文简要 在这项工作中，视频中的3D姿态可以通过全卷积模型来估计，具体是在二维关键点上通过空洞时间卷积的模型得到3D姿态。我们还介绍了一种不带标签（反向投影）的半监督式训练方法。...具体地说，使用现有的2D关键点检测器为未标记的视频预测2D关键点，然后预测3D姿态，最后将它们映射回2D空间中。...视频姿态估计，大多数以前的工作都是在单帧的背景下进行的，但最近几年利用视频的时间信息来产生更可靠的预测，并降低对噪音的敏感性。...这两个目标是共同优化的，标记数据占据Batch的前半部分，未标记数据占据Batch的后半部分一半。对于标记数据，我们使用真实三维姿态作为目标，训练一个监督损失。...骨骼长度损失，添加一个软约束来近似匹配未标记batch的受试者与已标记batch的受试者的平均骨长度。 5.

    98720

    CVPR 2020 | 将深度学习算法应用于移动端最新研究汇总

    通过使用规范化的关节，作者实现了： 使用关节诱导的运动学约束改进部分姿态和尺度估计的性能 摄像机空间联合参数估计精度高 ? 下图是联合参数估计的对比。 ?...KFNet:使用卡尔曼滤波学习瞬时摄像机重新定位 与单镜头重定位通过聚焦静止图像来估计姿态不同，瞬时相机重定位根据序列中每一帧视频来估计姿态。本文旨在提高时域再定位方法的姿态估计能力。...这在以下阶段发生： 在二维空间异步跟踪事件，重建相邻亮度图像帧之间的连续时空事件轨迹。 估计人体的3D运动使用基于批处理的优化算法。 根据从异步事件流接收到的边界信息精炼捕获的高速运动。...通过利用跟踪的事件轨迹和基于cnn的二维和三维姿态估计强度图像来解决漂移问题。 ? 作者还提出了一个基于事件相机的快速人体动作捕捉评价数据集。...源人脸和目标人脸之间的轮廓差距也构成了严重的挑战。为了解决这些难题，作者使用了一个landmark探测器来将人脸编码到潜在的landmark空间中。

    1.1K20

    2018-03-14

    所提出的算法使用图像预处理和伪轮廓检测技术的组合来提高检测效率。所提出的方法也消除了使用单个传感器来检测汽车的需要，而是使用实时静态图像来将一组插槽组合在一起，而不是通常的单插槽方法。...这通过用参数模型近似事件流的3D几何来完成;结果，该算法能够产生运动补偿事件流（有效逼近运动），并且在没有任何形式的特征跟踪或明确的光流计算的情况下，在极低光和噪声条件下不使用任何形式的外部传感器。...采用新的基于中心凹的图像区域之间的空间距离模型来考虑局部和全局特征计算。为了将由我们的方法生成的明显性图高效地融合成与眼固定数据高度相关的单个显著图，使用基于随机森林的算法。...因此，我们用一个监督损失来补充它，目的是预测一小组标记图像中的正确姿态，并用正则化项来惩罚初始预测中的漂移。...我们的主要贡献是一种非刚性变形与动态人体轮廓相对应的轮廓锥的方法，从而导致在通用参考框架中的视觉轮廓，其允许表面重建。 这使得能够基于大量帧有效地估计共同的3D形状，纹理和植入的动画骨架。

    903150

    ArUco的生成与检测

    ，以及使用它们进行姿态估计和相机标定的工具。...此外，ChArUco功能将ArUco标记与传统棋盘相结合，以实现简单而多功能的角点检测。该模块还包括检测ChArUco角点并将其用于姿态估计和相机机标定的功能。...在opencv中aruco有以下几个模块： （1）Detection of ArUco Markers：检测单个ArUco标记板：基于单个ArUco标记板的基本检测和姿态估计。...标记板的角点 （4）Detection of Diamond Markers：基于ChArUco标记板的检测与姿态估计 （5）Calibration with ArUco and ChArUco：使用ArUco...还应用了一些额外的噪声滤波算法（去除过小或过大的轮廓，去除彼此太接近的轮廓等）。 2，在候选标记检测之后，需要通过分析它们的内部编码来确定它们是否真的是标记物。此步骤首先提取每个标记的标记位。

    3.2K20

    LESS-Map：用于长期定位轻量级和逐渐演进的语义地图方案

    通过估算这些观测的不确定性来增强地图融合。然后，使用本文介绍的方法对这些特征进行参数化。因此，通过姿态估计和回环闭合的细化生成了全局地图。...语义分割和点云生成 使用一个强大的分割网络[23]来有效地从原始鱼眼图像中检测地面、车道线和道路标记。经过语义分割，我们将鱼眼图像转化为车辆坐标系内的语义点云。...然后计算每个轮廓点的2D轮廓法线向量，因为通过IPM投影获得的点云都位于同一平面上。该轮廓法线向量被定义为从轮廓内部指向轮廓外部的矢量，垂直于轮廓的边缘。...我们利用一种基于表面的边缘估计算法[26]来估计轮廓法线向量。估计结果如图4(b)所示。然后，根据我们获得的相邻关系，我们在获得轮廓法线向量后采用区域生长算法来聚类轮廓点。...我们使用线簇中所有点的平均置信度测量来表示线的置信度。 图4. 我们的地面语义特征参数化过程。(a) 点云中的不同轮廓。(b) 轮廓点的轮廓法线向量（绿线）。(c) 由区域生长算法获得的线簇。

    42160

    看YouTube学做广播体操？机器人即将掌握人类所有动作 | 一周AI最火论文

    该框架假定视频中的目标已被标记，并使用一个最新的目标检测模型为每个目标限定一个边界。 技术世界正处于一个令人兴奋的发展阶段，尤其是在机器人技术等机器学习技术不断进步的当下。...该方法结合了目标检测和分割方法，通过将输入图像与渲染图像进行匹配来估计、优化和跟踪目标的姿态。...首先，研究人员使用Mask R-CNN来检测和分割输入图像中感兴趣的目标；然后，使用多视图匹配模型来估计该目标的6D姿态；最后，使用单视图匹配模型完善姿态估计。...该方法获得的准确度可与常规RGB姿态估计的最新方法（如PoseCNN + DeepIM）得到的准确度相媲美。 本文为如何扩展独特的模型用于估计、改进和跟踪目标的姿态，提供了新的研究思路。...本项研究提出的方法展示了网络如何自动协助优化和跟踪过程。该方法扩展了一个用于姿态估计、改进和跟踪的姿态优化网络DeepIM，而无需使用外部的初始姿态估计方法。

    66130

    DSP-SLAM：具有深度形状先验的面向对象SLAM

    我们的评估显示，与最近基于深度先验的重建方法相比，物体姿态和形状重建有了改进，并减少了KITTI数据集上的相机跟踪漂移。...在物体形状和姿势估计方面，在定量和定性上改进了自动标记，这是一种最先进的基于先验知识的物体重建方法。...稀疏SLAM框架：ORB-SLAM2用作跟踪和建图主框架，这是一种基于特征的SLAM框架，可对单目或双目序列进行操作，当跟踪线程根据对应关系以帧速率估计相机姿态时，建图线程通过重建三维地标来构建稀疏地图...检测：我们在每个关键帧执行对象检测，共同推断2D边界框和分割mask,此外，通过检测3D边界盒获得物体姿态估计的初始估计。...中间：带DSP-SLAM的结果 右：带自动标记的结果。 各种方法的相机跟踪精度比较结果 当每个对象使用不同数量的激光雷达点（N=250、50、10）时，对象重建结果。

    1.6K30

    SegICP：一种集成深度语义分割和位姿估计的框架

    然后使用带有标记的图像分割出相应的点云，并为每个检测到的对象生成单独的点云。然后使用ICP将每个对象的点云与其完整的点云数据库模型进行配准，并估计目标对象相对于传感器的姿态。...图4 动作捕捉系统：(a)使用NDI 3D Investigator 设置动作捕捉系统。作者在RGB-D相机和用于姿态测量的对象上安装了圆形活动标记。...需要注意的是，分割的质量会影响点云标记，并对框架中用于对象姿态估计的点到姿态配准方法的性能产生直接影响。尽管如此，作者仍然考虑了一个问题，那就是：更高的分割IOU是否会导致更好的位姿估计？更高的精度？...在图7中，作者说明了在1246个对象姿态注释的基准数据集上评估SegICP的结果。为了对分割标记对最终姿态估计的影响进行全面分类，作者使用带注释的分割和两个分割网络架构的输出运行SegICP。...最后，由于该架构使用分割标记来裁剪点云，所以RGB和深度帧的传感器校准对于准确的姿态估计至关重要。

    84440
    点击加载更多

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券