更逼真AR/VR场景，Meta研究为神经体三维绘制密度设计不同模型

查看引用/信息源请点击：映维网

神经体三维绘制

（映维网 2021年12月11日）体三维渲染（Volume Rendering）这种技术主要是通过所谓的体三维渲染积分在辐射场中渲染体三维密度。最近的研究表明，将密度场和辐射场表示为神经网络可以仅从稀疏的输入图像集进行学习，从而实现对新视图的出色预测。有研究团队开发的神经体三维绘制方法以可微的方式将积分近似为alpha合成，允许同时从输入图像中学习。尽管这种耦合确实能够很好地概括新的观察方向，但密度部分在忠实预测场景实际几何体方面并不成功，并通常会产生充满嘈点的低保真度几何体近似。

在名为《Volume Rendering of Neural Implicit Surfaces》的论文中，Meta和以色列魏茨曼科学研究所提出用VolSDF为神经体三维绘制中的密度设计不同的模型，从而在保持视图合成质量的同时更好地逼近场景的几何体。

在一个方面，所述方法的关键思想是将密度表示为到场景曲面的符号距离函数，见图1。这种密度函数存在多个优势。首先，它保证了生成密度的合适定义曲面的存在。这为分离密度场和辐射场提供了有用的感应偏压，从而提供了更精确的几何近似。其次，这种密度公式允许沿光线限制不透明度的近似误差。这个bound用于对观察光线进行采样，以便在体三维绘制积分中提供密度场和辐射场的忠实耦合。若没有这样的bound，沿光线计算的辐射度（像素颜色）可能会错过或超过曲面部分，从而导致不正确的辐射度近似。

在另一方面，一个密切相关的研究领域称为神经隐式曲面，其一直专注于使用神经网络隐式表示场景的几何体，从而令曲面渲染过程具有可微性。相关方法的主要缺点是需要将对象与背景分离的遮罩。同时，由于优化问题，学习直接渲染曲面往往会增加无关部分，而体三维渲染可以避免所述问题。

从某种意义上说，Meta和以色列魏茨曼科学研究所的研究结合了上述两个方面的优点：体三维绘制和神经隐式曲面。

团队根据DTU和BlendedMVS数据集重建曲面来证明VolSDF的有效性。与NeRF和NeRF++相比，VolSDF生成了更精确的曲面重建，接近于IDR，同时避免了使用对象遮罩。另外，研究人员展示了方法的解纠缠结果，即切换不同场景的密度和辐射场，而这在基于NeRF的模型中无法实现。

研究人员主要介绍了一种新的体积密度参数化，定义为变换符号距离函数。然后，团队展示所述定义是如何促进体三维绘制过程。特别是，其推导了不透明度近似中的误差范围，并因此设计了近似体三维绘制积分的采样程序。

需要注意的是，这篇论文涉及大量的公式计算和推导，有兴趣的读者可以参阅《Volume Rendering of Neural Implicit Surfaces》。

相关论文：

Volume Rendering of Neural Implicit Surfaces

https://paper.nweon.com/11463

总的来说，团队介绍了一种隐式神经曲面体三维绘制框架VolSDF。团队将体三维密度表示为符号距离函数到学习曲面几何体的变换版本。这个看似简单的定义提供了一个有用的归纳偏差，允许几何体（即密度）和辐射场的解纠缠，其与以前的神经体三维绘制技术相比改进了几何体近似。另外，它允许限制不透明度近似误差，从而导致体渲染积分的高保真采样。

当然所述方法存在局限性，但研究人员指出这提供了有趣的未来研究机会。团队相信在体三维绘制中使用bound可以改进学习和解纠缠，并推动领域向前发展。