Google 推出 HDR＋连拍摄影数据集

文 / Google 机器感知软件工程师 Sam Hasinoff

连拍摄影是支持 Google 近期推出的智能手机上的 HDR+ 软件的核心，也是一种用于提升图像质量的基础计算摄影技术。使用 HDR+ 拍摄的每一张照片实际上是一个合成图，这个合成图通过捕获与合并快速连拍的全分辨率照片生成。HDR+ 帮助 Pixel 和 Pixel 2 分别赢得了 DxO 连续两年的最高手机相机排名。Pixel 2 上全新的人像模式也依赖于 HDR+ 来获得基本的图像质量和提升深度估算质量。

今天，我们高兴地向研究社区宣布公开版本的图像连拍归档：

http://hdrplusdata.org

这为其他人提供了一种方式来比较他们的方法与在相同输入图像上运行的 Google 的 HDR+ 软件的结果。此数据集包含 3,640 组全分辨率原始图像连拍，由 28,461 个单独的图像组成，还包括用于比较的 HDR+ 中间结果和最终结果。图像涵盖了各种摄影场景，包括主体、运动层次、亮度和动态范围变化。

使用连拍提升图像质量。HDR+ 的处理始于一组全分辨率原始图像连拍（左）。根据条件的不同，系统会对齐 2 至 10 个图像并将它们合并成一个中间原始图像（中）。这个合并图像具有更低的噪点和更高的动态范围，从而生成更高质量的最终结果（右）。

使用连拍摄影生成更好的图像

连拍摄影具有与采集更多光线相关联的优势，包括更低的噪点和更高的动态范围，但是它可以避免曝光时间增加导致的运动模糊。这对小型智能手机摄像头尤为重要，摄像头的大小会限制它们捕获的光量。

自 HDR+ 在 Nexus 5 和 6 上首次发布以来，我们一直在不断改进系统。正如我们在最近的 SIGGRAPH Asia 论文中介绍的一样 (http://static.googleusercontent.com/media/hdrplusdata.org/en//hdrplus.pdf)，HDR+ 的处理现在从原始图像开始，这有助于提升图像质量。也就是说，使用我们的软件可以完全实现图像处理管道。接下来，我们消除了快门延时，让摄影看起来就像是瞬时完成的。您获得的 HDR+ 照片对应于按下按钮那一刻的状态。最后，我们通过在加速器（例如 Qualcomm Hexagon DSP 和全新的 Pixel Visual Core）上实现 HDR+ 缩短了处理时间并降低了功耗。

显示 HDR+ 数据集大小和多样性的缩略图拼接图。像 HDR+ 一样的计算摄影系统投入生产后，用户每天会拍摄数以百万计的照片，这就意味着必须以可靠方式处理奇怪的摄影极端情况。

使用数据集

HDR+ 数据集的规模和多样性也为应用现代机器学习方法提供了机会。我们的数据集已整合到近期的一篇研究论文中 (https://groups.csail.mit.edu/graphics/hdrnet)，这篇论文使用一个神经网络来估计部分 HDR+ 管道，这个部分被约束为适合快速图像处理的表示形式。将机器学习应用于 HDR+ 数据集的多篇论文目前正在进行评审。

深受 Middlebury 立体数据归档的启发，我们希望共享的数据集可以让整个社区将精力放在比较结果上。从本质上说，这种方式要比研究员自行配置和运行同类技术更有效，在代码为专有资产时，这种方式也比他们从头实现代码更快速。HDR+ 数据集按照知识共享许可 (CC-BY-SA) 发布。此许可在很大程度上没有限制，不过我们的主要意图是将数据集用于科学目的。

有关如何引用数据集的信息，请参阅详细说明：

http://hdrplusdata.org/dataset.html

我们期待看到研究人员使用 HDR+ 数据集取得其他成果！

致谢

特别感谢 HDR+ 数据集的摄影师和拍摄主体。