ECCV 2024｜有效提高盲视频去闪烁效果，美图公司&国科大提出基于 STE 新方法 BlazeBVD

近年，短视频生态的赛道迅猛崛起，围绕短视频而生的创作编辑工具在不断涌现，美图公司旗下专业手机视频编辑工具——Wink，凭借独创的视频画质修复能力独占鳌头，海内外用户量持续攀升。

Wink画质修复功能火爆的背后，是美图在视频编辑应用需求加速释放背景下，对用户视频画面模糊不清、噪点严重、画质低等视频创作痛点的洞察，与此同时，也建立在美图影像研究院（MT Lab）强有力的视频修复与视频增强技术支持下，目前已推出画质修复-高清、画质修复-超清、画质修复-人像增强、分辨率提升等功能。

日前，美图影像研究院（MT Lab）联合中国科学院大学更突破性地提出了基于STE的盲视频去闪烁(blind video deflickering, BVD)新方法BlazeBVD，用于处理光照闪烁退化未知的低质量视频，尽可能保持原视频内容和色彩的完整性，已被计算机视觉顶会ECCV 2024接收。

论文链接：https://arxiv.org/pdf/2403.06243v1

BlazeBVD针对的是视频闪烁场景，视频闪烁容易对时间一致性造成影响，而时间一致性是高质量视频输出的必要条件，即使是微弱的视频闪烁也有可能严重影响观看体验。究其原因，一般是由拍摄环境不佳和拍摄设备的硬件限制所引起，而当图像处理技术应用于视频帧时，这个问题往往进一步加剧。

此外，闪烁伪影和色彩失真问题在最近的视频生成任务中也经常出现，包括基于生成对抗网络(GAN)和扩散模型(DM)的任务。因此在各种视频处理场景中，探索通过Blind Video Deflickering (BVD)来消除视频闪烁并保持视频内容的完整性至关重要。

BVD任务不受视频闪烁原因和闪烁程度的影响，具有广泛的应用前景，目前对此类任务的关注，主要包括老电影修复、高速相机拍摄、色彩失真处理等与视频闪烁类型、闪烁程度无关的任务，以及仅需在单个闪烁视频上操作，而不需要视频闪烁类型、参考视频输入等额外指导信息的任务。此外，BVD现主要集中在传统滤波、强制时序一致性和地图集等方法，所以尽管深度学习方法在BVD任务中取得了重大进展，但由于缺乏先验知识，在应用层面上受到较大阻碍，BVD仍然面临诸多挑战。

1、BlazeBVD: 有效提高盲视频去闪烁效果

受经典的闪烁去除方法尺度时间均衡(scale-time equalization, STE)的启发，BlazeBVD引入了直方图辅助解决方案。图像直方图被定义为像素值的分布，它被广泛应用于图像处理，以调整图像的亮度或对比度，给定任意视频，STE可以通过使用高斯滤波平滑直方图，并使用直方图均衡化校正每帧中的像素值，从而提高视频的视觉稳定性。虽然STE只对一些轻微的闪烁有效，但它验证了：

(1)直方图比像素值紧凑得多，可以很好地描绘光亮和闪烁信息。

(2)直方图序列平滑后的视频在视觉上没有明显的闪烁。

因此，利用STE和直方图的提示来提高盲视频去闪烁的质量和速度是可行的。

BlazeBVD通过对这些直方图进行平滑处理，生成奇异帧集合、滤波光照图和曝光掩码图，可以在光照波动和曝光过度或不足的情况下实现快速、稳定的纹理恢复。

与以往的深度学习方法相比，BlazeBVD首次细致地利用直方图来降低BVD任务的学习复杂度，简化了学习视频数据的复杂性和资源消耗，其核心是利用STE的闪烁先验，包括用于指导消除全局闪烁的滤波照明图、用于识别闪烁帧索引的奇异帧集，以及用于识别局部受过曝或过暗影响的区域的曝光图。

与此同时，利用闪烁先验，BlazeBVD结合了一个全局闪烁去除模块(GFRM)和一个局部闪烁去除模块(LFRM)，有效地矫正了个别相邻帧的全局照明和局部曝光纹理。此外，为了增强帧间的一致性，还集成了一个轻量级的时序网络(TCM)，在不消耗大量时间的情况下提高了性能。

图1：BlazeBVD方法与已有方法在盲视频去闪烁任务上的结果对比

具体而言，BlazeBVD包括三个阶段：

首先，引入STE对视频帧在光照空间下的直方图序列进行校正，提取包括奇异帧集、滤波后的光照图和曝光图在内的闪烁先验。

其次，由于滤波后的照明映射具有稳定的时间性能，它们将被用作包含2D网络的全局闪烁去除模块(GFRM)的提示条件，以指导视频帧的颜色校正。另一方面，局部闪烁去除模块(LFRM)基于光流信息来恢复局部曝光图标记的过曝或过暗区域。

最后，引入一个轻量级的时序网络(TCM)来处理所有帧，其中设计了一个自适应掩模加权损失来提高视频一致性。

通过对合成视频、真实视频和生成视频的综合实验，展示了BlazeBVD优越的定性和定量结果，实现了比最先进的模型推理速度快10倍的模型推理速度。

图2：BlazeBVD的训练和推理流程

2、实验结果

大量的实验表明，盲视频闪烁任务的通用方法——BlazeBVD，在合成数据集和真实数据集上优于先前的工作，并且消融实验也验证了BlazeBVD所设计模块的有效性。

表1：与基线方法的量化对比

图3：与基线方法的可视化对比

图4：消融实验

3、以影像科技助力生产力

该论文提出了一种用于盲视频闪烁任务的通用方法BlazeBVD，利用2D网络修复受光照变化或局部曝光问题影响的低质量闪烁视频。

其核心是在照明空间的STE滤波器内预处理闪烁先验；再利用这些先验，结合全局闪烁去除模块(GFRM)和局部闪烁去除模块(LFRM)，对全局闪烁和局部曝光纹理进行校正；最后，利用轻量级的时序网(TCM)提高视频的相干性和帧间一致性，此外在模型推理方面也实现了10倍的加速。

关于MTLab

美图影像研究院（MT Lab）成立于2010年，是美图公司旗下专注于计算机视觉、深度学习、计算机图形学、图像处理等人工智能领域前沿科技的核心研发团队，连年斩获CVPR、ECCV、ICCV、ISIC等多项国际顶级赛事冠军，在人工智能国际顶会&顶刊已累计发表50篇学术论文，为美图旗下全系软硬件产品及美图奇想大模型（MiracleVision）提供技术支持，同时面向影像行业内多个垂直赛道提供针对性SaaS服务，覆盖影像、视频、设计等领域，用技术服务亿级用户。