NVIDIA AI 为混合现实任务提出了一种新颖的 AI 框架，例如逼真的虚拟对象插入

从单个图像同时估计反照率、法线、深度和 3D 空间变化照明通常具有挑战性。现有方法的问题在于它们被表述为图像到图像的转换，而忽略了场景的 3D 属性。室内场景的 2D 表示不足以捕捉光线在 3D 空间中的移动方式，这并不奇怪。

来自 NVIDIA、多伦多大学和 Vector Institute 的研究人员提出了一种估计反射率、形状和 3D 空间变化照明的新方法，通过使用 3D 照明表示以端到端可训练的方式制定完整的渲染过程。他们提出了一种新颖的用于照明的体积球面高斯表示，一种用于场景表面的体素单元表示。

每个体素都分配有一组球形高斯参数，用于控制其光源的发射方向和锐度。这样，可以毫无问题地处理强定向照明。由于缺乏 HDR 照明的基本事实，研究团队设计了基于光线追踪的可微渲染器，以利用其照明表示。它可以用来制定一个节能的图像形成过程。渲染器用于在不牺牲准确性的情况下确保预测在物理上是正确的。

根据研究论文，研究团队提出的方法优于现有的最先进的逆渲染和光照估计方法。本研究中的研究人员引入了一个整体的单目逆渲染框架，可以联合估计反照率、法线、深度和 HDR 光场。提出的体积球面高斯表示非常适合在空间和角度上处理高频细节。尽管仅使用 LDR 图像进行过训练，但该模型能够正确预测 HDR 照明。这些结果证明了该模型在增强现实 (AR) 应用程序（例如虚拟对象插入）方面的巨大潜力。

论文：

https://arxiv.org/pdf/2109.06061.pdf

项目：

https://nv-tlabs.github.io/inverse-rendering-3d-lighting/