首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    NeurIPS2022的Spotlight文章,性能超出当前SOTA的神经隐式表面重建方法20%

    近年来,通过基于体渲染技术的神经隐式表面学习来实现多视图三维重建成为计算机三维视觉领域研究的热点。然而,目前仍然存在一个关键性问题亟待解决:现有的方法缺乏明确的多视图几何约束,因此通常无法实现几何一致的三维重建。为了应对这一问题,我们提出了一种几何一致的神经隐式多视图三维重建算法。首先,我们从理论上分析了基于积分的体渲染技术和基于空间点的符号距离函数(SDF)建模之间存在着固有偏差。为了消除这一偏差,我们直接定位到SDF网络的零测度集,并通过利用来自运动恢复结构(SFM)的稀疏三维信息和多视图立体视觉(MVS)中的光度一致性约束来显式地对表面进行多视图几何优化。这保证了我们的符号距离函数优化无偏,并使得多视图几何约束聚焦于真正表面的优化。大量实验表明,我们提出的方法在复杂的精细结构和大范围的平滑区域都实现了高质量的三维重建,从而在性能上大大优于现有技术。

    01

    ICCV 2023 | 单阶段扩散神经辐射场:3D生成与重建的统一方法

    在计算机视觉和图形领域,由于神经渲染和生成模型的进步,三维视觉内容的合成引起了显著关注。尽管出现了许多处理单个任务的方法,例如单视图/多视图三维重建和三维内容生成,但开发一个综合框架来整合多个任务的最新技术仍然是一个主要挑战。例如,神经辐射场(NeRF)在通过每个场景的拟合解决逆向渲染问题方面展示了令人印象深刻的新视图合成结果,这适用于密集视图输入,但难以泛化到稀疏观察。相比之下,许多稀疏视图三维重建方法依赖于前馈图像到三维编码器,但它们无法处理遮挡区域的不确定性并生成清晰的图像。在无条件生成方面,三维感知的生成对抗网络(GAN)在使用单图像鉴别器方面部分受限,这些鉴别器无法推理跨视图关系以有效地从多视图数据中学习。 在这篇论文中,作者通过开发一个全面模型来从多视图图像中学习可泛化的三维先验,提出了一种统一的方法来处理各种三维任务。受到二维扩散模型成功的启发,论文提出了单阶段扩散NeRF(SSDNeRF),它使用三维潜在扩散模型(LDM)来模拟场景潜在代码的生成先验。 虽然类似的LDM已经应用于之前工作中的二维和三维生成,但它们通常需要两阶段训练,其中第一阶段在没有扩散模型的情况下预训练变分自编码器(VAE)或自解码器。然而,在扩散NeRF的情况下,作者认为两阶段训练由于逆向渲染的不确定性特性,特别是在从稀疏视图数据训练时,会在潜在代码中引入噪声模式和伪影,这阻碍了扩散模型有效地学习清晰的潜在流形。为了解决这个问题,论文引入了一种新的单阶段训练范式,使扩散和NeRF权重的端到端学习成为可能。这种方法将生成和渲染偏差协调地融合在一起,整体上提高了性能,并允许在稀疏视图数据上进行训练。此外,论文展示了无条件扩散模型学习到的三维先验可以在测试时从任意观察中灵活地采样用于三维重建。 论文在多个类别单一对象场景的数据集上评估了SSDNeRF,整体展示了强大的性能。论文的方法代表了朝着各种三维任务统一框架的重要一步。总结来说,论文的主要贡献如下:

    01
    领券