首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    HumanNeRF:从单目视频中实现移动人物的自由视点渲染

    给定一个人类表演活动的单个视频,我们希望能够在任何一帧暂停,并围绕表演者旋转360度,以便在那个时刻从任何角度观看(图1)。这个问题——移动物体的自由视点渲染——是一个长期存在的研究挑战,因为它涉及到合成以前看不见的相机视图,同时考虑布料褶皱、头发运动和复杂的身体姿势。这个问题对于在本文中所讨论的用单个相机拍摄的“现场”视频(单目视频)来说尤其困难。以前的神经渲染方法通常假设多视图输入、仔细的实验室捕捉,或者由于非刚体运动而在人类身上表现不佳。特定于人类的方法通常假设SMPL模板作为先验,这有助于约束运动空间,但也会在服装中引入SMPL模型无法捕捉到的伪影和复杂运动。最近可变形的NeRF方法对于小的变形表现良好,但在舞蹈等大型全身运动中表现不佳。本文介绍了一种称为HumanNeRF的方法,该方法将移动的人的单个视频作为输入,在每帧、现成的分割(通过一些手动清理)和自动3D姿势估计之后,优化人体的标准体积T姿势,以及通过后向扭曲将估计的标准体积映射到每个视频帧的运动场。运动场结合了骨骼刚性运动和非刚性运动,每种运动都以体积表示。其解决方案是数据驱动的,标准体积和运动场源自视频本身,并针对大型身体变形进行了优化,端到端训练,包括3D姿势细化,无需模板模型。在测试时,可以在视频中的任何一帧暂停,并根据该帧中的姿势,从任何视点渲染生成的体积表示。

    01

    基于少量图像的三维重建综述

    基于少量图像的三维重建被认为是第三代人工智能的经典应用之一。在计算机图形学和计算机视觉领域,基于少量图像的三维重建任务因具有广泛的应用场景和很高的研究价值,长期以来吸引着众多学者的目光。引入深度学习方法后,该领域于近年来得到了长足发展。对此类基于少量图像的三维重建任务进行了全面阐述,并介绍了本研究组在该方面的系列工作,对其中涉及的数据类型进行分析,阐明其适用性和一般处理方法。此外,对常见的数据集进行分析、整理,针对不同重建方法,归纳出其基本框架、思路。最后,展示了一些常见三维重建的代表性实验结果,并提出了未来可能的研究方向。

    04
    领券