CVPR 2019 | 旷视研究院摘取NTIRE真实图像降噪比赛冠军

转载自：旷世研究院

当地时间6月16日，一年一度的“计算机视觉与模式识别会议”（Conference on Computer Vision and Pattern Recognition 2019，CVPR 2019）在美国长滩拉开帷幕。作为计算机视觉领域的三大顶会之一，CVPR 2019 吸引全球超过9200位顶尖专家、学者以及产业界人士，共同推进计算机视觉技术的发展与落地。值得一提的是，在本次大会的 NTIRE 2019 挑战赛上，旷视研究院力压群雄，一路过关斩将，最终夺得了 NTIRE 2019 真实图像降噪比赛 “Raw-RGB” 组的世界冠军。

NTIRE（New Trends in Image Restoration and Enhancement）挑战赛致力于恢复与增强图像质量，到目前为止，已连续举办了3年。今年，NTIRE 挑战赛下设11项比赛，就旷视研究院参赛的“真实图像降噪（Real Image Denosing Challenge）”而言，全球共有216位选手、12支队伍参加。

图像降噪一直是计算机视觉中相当重要且研究甚多的领域，其首要的目标是去除或纠正图像上的噪声信息，这既能满足美观，同时也有助于基于这些图像开展进一步的视觉研究。一直以来，研究者在该问题上的工作主要依赖合成的噪声图像。据主办方称，此次真实图像降噪比赛的一大目的即在真实而非合成的图像上评估图像降噪器。

NTIRE 2019 真实图像降噪比赛基于最近新提出的智能手机图像降噪数据集（Smartphone Image Denoising Dataset, SIDD），它由很多真实的噪声图像及其相应的 ground truth 组成，且每幅图像都有以原始传感器数据（raw）和标准 RBG（sRGB）格式存储的两个版本。因此，该项比赛分为了两项子赛，分别针对 raw 与 sRGB 图像进行去噪。旷视研究院参战前者，一举夺冠。

NTIRE 主办方 Radu Timofte 与旷视研究院夺冠团队部分成员（左起）王珏、黄海斌，巫奇豪

解密冠军算法

图像降噪一直是旷视研究院“手机摄影超画质”的技术储备项目，自第一版原型诞生以后，就在不断迭代。其中，针对原始传感器数据（raw）的图像降噪更是整个项目的基础技术。

就学术界来看，对图像降噪的关注点一直以 RGB 图像为主，对 raw 图（尤其是手机上）少有关注。人们不了解如何对图像进行前处理、后处理，也不了解在降噪过程中的具体注意事项，导致往往无法发挥数据百分百的力量。基于上述背景，旷视研究院希望借此机会分享在 raw 图像降噪上的心得，同时验证团队实力，进行进一步锻炼。

这次比赛中，旷视研究院提出了针对 raw 图像的基于 U-Net 框架的“拜尔阵列归一化与保列增广”方法。尽管不同输入图像间的数据格式存在差异，但是，为保持网络输入一致性团队精心设计了一种数据预处理方法，使得相同的网络工作应用到具有不同拜耳模式的输入上，从而在保证性能的前提下用更大的图像集合训练网络。

“拜尔阵列归一化与保列增广”方法图示

此外，团队还提出了适用于 raw 图像的数据增广方法。这些优势可以帮助网络获得更好的泛化能力（且没有额外的运行时）。不仅如此，旷视研究人员还发现了主办方提供的第一版数据集里验证集的错误。经分析，这很可能是由于人们对 raw 图处理的知识相对不足所造成的。

由上述可知，学界对 raw 图展开的图像降噪研究还处于刚刚起步阶段，因此，这个小插曲从某种层面也说明了对 raw 图像降噪研究的重要意义。对于错误的指出，主办方及时进行了更正，并向旷视研究院参赛团队发来了感谢信。

打造夜拍超画质神器

本次冠军算法已成功落地于 OPPO Reno 10 倍变焦版。OPPO Reno 10 倍变焦版搭载了基于旷视 MEGVII 超画质技术研发的“超清夜景2.0”功能，能够为用户提供非同凡响的夜拍体验。这也是旷视超画质技术首次运用在大规模量产机型上。

需要强调的是，依托在本文提到的图像降噪算法，旷视超画质技术在智能降噪的同时，能够更好地保留画面质感，大幅度优化拍摄和影像处理的时间，显著提升用户在夜晚和低光照环境下的拍摄体验。

复合多帧降噪和 HDR 技术作为旷视超画质技术的其中一项核心功能，能够提升动态范围，有效提高手机夜间拍照的成功几率，并让相机具备优秀的抗鬼影能力。

多帧降噪是指相机连拍多张照片合成一张照片，可减少高 ISO 感光度带来的噪点，使画质更纯净。如果用传统的多帧降噪技术，在夜间或暗光环境下拍摄运动物体，如街上的行人或者车流时，成像过程中就可能会形成长长的拖影，也就是摄影爱好者俗称的“鬼影”。

右图为旷视超画质技术拍摄的样片，可以看出“鬼影”现象较左图有大幅降低

旷视超画质技术则把整个拍照曝光时间控制在300毫秒左右，算法处理时间则控制在1秒左右，也就意味着用户能几乎能在按下快门的同时，看到自己所拍摄的超美夜景照，实现所见即所得。曝光时间越短，拍出清晰照片的几率也就越高，因此旷视超画质技术特殊的曝光策略，也让“鬼影”出现的几率大为降低。

右图为旷视超画质技术拍摄的样片，夜拍效果的亮度和细节明显增加

在夜景模式下，传统的多帧降噪带来的细节损失难以避免。而在同样硬件配置的情况下，旷视超画质技术则不会损失细节，甚至在有些场景下还会对细节进行增强。尤其是在夜景光源处理方面，旷视超画质技术用不同的曝光策略和曝光组合，能够有效提升动态范围，取得较好的高光压制效果。

下方图像为旷视超画质技术拍摄的样片，高光压制效果较上图更为自然