Facebook开源的AI变焦渲染系统DeepFocus到底是什么？

欢迎各位大哥大姐来到小编的文章，希望小编辛勤的写作，能给大伙带来开心和笑容，如果真的如此请关注评论，这样小编就更加的有信心了。

Facebook开源的AI变焦渲染系统DeepFocus到底是什么？，使每个虚拟物体都能清晰聚焦。这种更加先进的显示方法可以在VR中创造更舒适、自然和富有沉浸感的真实画面。但要充分发挥其潜力，Half Dome不仅需要更高级的硬件，同样需要具有创新性的软件。

可与Half Dome配合使用，模仿我们在日常生活中观察世界的方式，创建逼真的散焦效果。DeepFocus是第一个能够产生这种效果的系统，它以一种实时的、逼真的且依赖于凝视方式来对VR头显佩戴者没有聚焦的场景部分进行模糊。

目前DeepFocus正在进行开源，开源内容包括系统代码和我们用来训练它的数据集，以帮助更广泛的VR研究人员将模糊画面的效果融入他们的工作中。

该头显与Oculus Rift拥有相同的视场角。红色光标表示佩戴者的注视位置。

模糊渲染对于极其逼真的VR至关重要

与电影美学或引人注目的视觉效果无关。实际上，模糊渲染越精确，观察者就越不可能注意到它。“我们的最终目标是提供与现实无法区分的视觉体验”，Facebook Reality Labs的视觉科学家Marina Zannoli表示，他很早就加入了DeepFocus项目。

视野中处于其他景深的部分场景看起来很模糊。那些模糊的区域有助于我们的视觉系统理解世界的三维结构，并帮助我们决定下一步关注的焦点。

DeepFocus允许我们以现实世界中的外观呈现场景的其余部分：自然模糊。“

头显佩戴者的焦点（由红色光标表示）在场景中的不同元素之间移动。

又或者只是花一天的时间来陪伴着一幅美景，DeepFocus对所有这一切都很重要。”

Lanman已经认识到了模糊渲染的必要性。那时他刚加入该项目几个月，早期的Half Dome原型展示了在VR中创造清晰焦点的希望。然而，基于软件的散焦被证明是实现这一希望的主要障碍之一。

这些非VR游戏更多地需要产生引人注目的电影效果（如漂亮的散焦背景）而不是真实感。这些快速但不准确的创造游戏里的背景模糊的方法与Half Dome的目标背道而驰，Half Dome想要重现光线传播时落在人类视网膜上的方式。

Facebook Reality Labs优化了计算机处理后的显示画面，但这一处理过程仍然不够快，无法实时生成能准确匹配物理现实的模糊效果。

这些早期的努力暴露了在VR中渲染真实且逼真的模糊所遇到的双重挑战——要实现这样的效果需要将令人难以置信的高渲染速度与先进的VR头显所需的图像质量水平相结合。

以匹配每只眼睛的运动，这种拟真程度的模糊渲染不能简单的通过拉低头显佩戴者焦点以外物体的分辨率来实现。

每只眼睛对应的每一个场景都被渲染了32次。但使用这种方法只是因为整个场景很简单，它不可能应用于更广泛的VR体验，而Lanman专注于为整个VR社区提供软件解决方案。

这样我们就不必要求开发人员改动他们的作品，只需要打开箱子使用 Half Dome即可”，Lanman说。

将深度学习带入VR应用中

而不是等待未来的处理器满足我们的需求或要求客户为更多的总处理能力支付更多的资金。具体而言，他希望探索深度学习的使用，这是一种通过使用大量相关数据进行训练来学习执行特定任务的方法的AI系统。

它们为其最新的显卡添加了与AI兼容的学习核心来提高图像质量的上限，但深度学习在VR相关系统中的应用却相当少见。

Lanman说，“不仅仅是生成画面，还要真正让画面比你以前看到的更真实。”

聘请了刚刚博士毕业的人工智能研究员Lei Xiao。Lei Xiao读博士期间的研究包括数值优化和针对计算机摄影的机器学习。“我相信从Lei在实验室工作的第一天，我就告诉他，‘我想开发首个能像Half Dome那样实时运行的计算显示方案'”，Lanman说，“该解决方案必须适用于Oculus Store中的每一款体验，且不需要开发人员重新编译。”

他的任务是抛开一系列复杂的、与焦点相关的参数，仅仅通过已经应用于ASW 2.0帧率平滑技术中的颜色与深度（RGB-D）输入数据，来生成逼真的模糊效果，这些输入数据大多数游戏引擎中也有提供。

对散焦有充分理解的AI系统可以预测相邻像素应该如何混合在一起，无论它们的相对深度是多少或注视位置（例如VR头显佩戴者的视点）位于三维空间中的哪里。

图片中红圈的位置在渲染过程中出现了伪影

那它对于几乎任何VR体验都是可行的。

快速模糊处于各种焦距的物体。CoC图确定每个像素位置所需的散焦水平，以模拟视网膜上的模糊形状。

Lei Xiao建立了一个全新的神经网络架构，专门针对实时模糊渲染进行了优化。与传统的基于深度学习的图像分析AI系统不同，该系统可以在处理视觉效果的同时保持高质量VR所需的超清晰图像分辨率。

Facebook Reality Labs需要大量的训练数据来供AI系统学习。具体来说，DeepFocus需要通过查看数千个以不同距离放置各种物体的图像来形成对聚焦和散焦的理解。没有现成的数据集具有DeepFocus团队所需的各种曲面和形状。所以Lei Xiao和Facebook Reality Labs的技术美术Matt Chapman创造了一个数据集。

Matthew Chapman，Lei Xiao，Salah Nouri，Alexander Fix，Marina Zannoli，Anton Sochenov，Anton Kaplanyan，Paul Linton。

在那里他制作了一些我们最知名和最优秀的演示。对于DeepFocus，Chaperman将美学放在一边，并给Lei Xiao一个满是虚拟对象的互动场所。Chaperman的随机场景生成器生成了由大量对象组成的场景，包括来自卢浮宫雕塑的3D扫描以及合成球体、立方体和3D曲线。物体随机放置在3D空间中，深度范围从25厘米到10米不等。

但这是一种可以解决随机场景生成器视觉问题的疯狂方法。这种不自然且丰富的几何形状和遮挡物具有比现实生活中更多种类的纹理、表面和其他特征，可以作为DeepFocus深度学习系统的一个焦点分析训练营，让DeepFocus能够为它未见过的VR体验渲染模糊效果。

Lei Xiao说。像Matt Chapman这样的技术美术在研究机构中很少见，但对于Facebook Reality Labs的AR和VR创新方法至关重要。

从微调物体分布、纹理和材料到减少渲染真实图像所需的时间”，Lei Xiao说。总的来说，他们使用随机场景生成器绘制了19.6万张图像对系统进行训练，使DeepFocus能够理解如何在最多变和最不熟悉的VR环境中进行模糊渲染。

DeepFocus团队成长为包括视觉科学家Zannoli以及研究科学家Alexander Fix和Anton Kaplanyan的团队，他们帮助设计了系统的深度学习方法。

在一些极端情况和限制下会导致低质量的结果和伪影。通过深度学习，我们的系统能够掌握复杂的效果和关系，例如前景和背景散焦，以及遮挡边界处的正确模糊处理。通过生成丰富的实例数据库，我们能够覆盖更广泛的散焦效应，并为景深合成设立了新的标准。”

以帮助证明DeepFocus实际上可以在Half Dome上运行，并能够使用当前的处理器以适合VR的分辨率实时渲染模糊效果。

神经网络架构已经建立起来了，它的表现不错，能够以1080p分辨率运行常规PC或主机游戏”，Nouri说道，他在加入Facebook Reality Labs之前曾参与过3A游戏制作。“但我们至少需要将性能提高四倍，因为VR的需求更高。”

尽管这样的电脑配置比消费者目前使用的主流配置要高得多，但仍然是一项重大的技术壮举。“我们需要非常小心地在四个GPU之间进行并行工作，让它们之间的内存传输形成一个流水线，这样四个GPU之间的并行工作才不会引入任何额外的延迟或者是计算开销”，Nouri说。

他们的最终目标是在单个GPU上以VR头显目前的分辨率进行实时模糊渲染。但他们在SIGGRAPH Asia大会上展示的四GPU渲染演示和研究代表了一个重要的里程碑，无论是在将人工智能技术集成到图形渲染的层面，还是开发新的更具沉浸感更逼真的VR体验层面。

Lanman说，“所以它需要被用于真正的VR游戏中。我们做到了，这解锁了一个认知上的新宇宙。“

散焦模糊渲染技术的未来是光明的

我们现在可以更好地了解真实性对于用户在VR和AR中的体验做出了怎样的贡献。虽然我们目前在Half Dome上使用DeepFocus这项技术，但DeepFocus这一基于深度学习的散焦渲染系统是与硬件无关。

除了在变焦显示器上进行实时模糊渲染外，DeepFocus还可以支持高质量的多焦点和光场显示图像合成。这使这一系统适用于所有将被广泛使用的下一代头戴式显示器技术。

为了这篇文章小编也算是煞费苦心，就算再各位心中不是最好的，我想您也能看出是最用心的，如果有哪些大哥大姐被小编的文章感动触动到，那么就请给小编一个简单的关注或者赞，您随手的一个动作会让小编更加努力，让小编心里暖暖几天