4K画质3D合成视频，渲染速度提升30多倍，论文作者带你解读新研究

现实生活中，我们接触的大多数视频都是 2D 的。在观看这种视频时，我们是没有办法选择观看视角的，比如走到演员中间。近年来，VR、AR 设备的出现弥补了这一缺陷，它们提供的 3D 视频允许我们变换视角、甚至随意走动，沉浸感大大提升。

近段时间，基于神经辐射场的动态自由视点方法在渲染质量上取得了很大的进步，但由于这类方法很难避免神经网络查询和后向的射线步进算法，其在高分辨率下的渲染速度仍然是一个挑战。

为了解决这一问题，来自浙江大学、像衍科技和蚂蚁集团的研究者在一篇题为「4K4D: Real-Time 4D View Synthesis at 4K Resolution」的论文中，提出了一种名为 4K4D 的点云表示方法，大大提升了高分辨率 3D 动态场景合成的渲染速度。

这是一种支持硬件光栅化的 4D 点云表示：通过重新设计几何、外观和渲染算法，“4K4D” 在渲染阶段无需进行神经网络查询和射线步进，取得了前所未有的渲染速度。“4K4D” 的几何表示是基于 4D 特征网格构建的，因此点云的优化过程可被自然的规范化。此外，该研究还设计了一种新的混合外观模型，在保持渲染速度的同时大幅提高渲染质量。最后，该研究开发了一种可微的深度剥离算法以有效的从多目 RGB 视频中学习所提出的模型。

实验表明，在单卡 4090 上，本文方法可在 1080P 分辨率的人体数据集上达到 400FPS，并在 4K 分辨率的全场景数据集上保持 80FPS。在提升渲染速度近 30 倍的情况下保持最佳的渲染质量。

为了更好的帮助大家了解这项研究，机器之心最新一期线上分享邀请到了论文作者之一徐震，为大家解读他们近期的工作 4K4D。

分享主题：4K4D：4K 分辨率下动态 3D 场景的实时自由视点合成

嘉宾简介：徐震是浙江大学 CAD&CG 实验室的二年级博士生，是实验室三维视觉课题组的成员，师从周晓巍研究员。他的主要研究方向是动态自由视点合成，动态场景重建与数字人算法。

分享摘要：本次分享介绍的是在 3D 动态实时自由视点合成问题上的最新工作：“4K4D：4K 分辨率下动态 3D 场景的实时自由视点合成”。“4K4D” 是一种可在 4K 分辨率下高保真的渲染动态 3D 场景的自由视点合成算法。