基于 VMAF 和 GREED 的高帧率全参考视频质量评价方法

用户1324186

发布于 2021-11-04 10:20:22

1.9K0

文章被收录于专栏：媒矿工厂媒矿工厂

来源：PCS 2021 演讲者：Pavan C Madhusudana 内容整理：贾荣立本文基于 VMAF 和 GREED 提出了针对不同帧率视频的全参考质量评价方法，并对多个数据集有较好的泛化能力。

引言
方法介绍
- VMAF
- GREED
实验
性能分析
- 与其他方法和模型的性能对比
- 对于特定帧率的视频质量评价
- 在其他数据集下的表现
结论

引言

在进行全参考视频质量评价的时候，常常会遇到无失真参考视频和失真视频帧率不同的情况，而帧率的改变也影响了视频的体验质量。因此，如何捕捉由于帧率改变和压缩损伤而带来的视频质量下降的因素，成为了视频质量评价这一研究领域中的一个重要主题。

参考视频和失真视频的帧率不同

现有的 VQA 模型很少深入关注与时间相关的因素，以最著名的模型 VMAF 为例，它只关注了连续视频帧之间的差异。但是在实际应用中，帧率的变化往往会导致时间伪影的产生，如频闪，抖动等，还有一些失真会和压缩损伤一同发生，因此仅仅使用先前的 VQA 模型进行评价是不准确的。

VMAF 方法在不同帧率的视频下表现不佳，而 GREED 模型在相同帧率的视频之间进行评价性能不好，基于此，作者提出了融合 VMAF 和 GREED 的特征，结合 VMAF 和 GREED 的优势，通过特征融合，更加强调时间伪影对于视频质量的影响，达到提高对不同帧率的参考和失真视频评价性能的目的。

方法介绍

VMAF

VMAF 结合了多个质量指标，包括：

细节级别度量(DLM)用于捕获细节损失，
视觉信息保真度(VIF)——基于自然场景统计(NSS)的图像保真度度量
时间信息(TI)——连续视频帧之间的绝对亮度差异

将质量评价指标利用 SVR 进行融合，得到 VMAF 模型。

GREED

GREED 模型基于视频帧率不同而带来的带通系数分布之间观察到的统计偏差。

当参考视频

和失真视频

的帧率不同时，给先前的全参考质量评价技术的应用带来了一定的困难。为了克服这一问题，对参考视频

进行时间降采样，得到和失真视频

帧率相同的新的序列，将这个新的序列称为伪参考

。给定这些信号，时域 GREED 被定义为：

\operatorname{TGREED}_{k t}=\frac{1}{P} \sum_{p=1}^{P}\left|\left(1+\left|\epsilon_{k p t}^{D}-\epsilon_{k p t}^{P R}\right|\right) \frac{\epsilon_{k p t}^{R}+1}{\epsilon_{k p t}^{P R}+1}-1\right|

TGREED 可以解释为加权熵差，其中依赖于

和

的帧率的比值项作为加权因子。不同帧率之间的熵分离依赖于内容，这使得比率项对内容很敏感。绝对差分项捕获压缩伪影，因为序列

是相同帧率下

的无损版本。

除此之外，为了捕获空域失真，空域 GREED 被定义为：

\mathrm{SGREED}_{t}=\frac{1}{P} \sum_{p=1}^{P}\left|\theta_{p t}^{D}-\theta_{p t}^{R}\right|

实验

根据上述分析，使用 GREED 特征去替换 VMAF 中的 TI 特征，如图所示：

使用 GREED 特征替换 VMAF 中 TI 特征

将 LIVE-YT-HFR 数据集随机分为 70％训练集，15％验证集和 15％测试集，子集之间没有重叠的内容，并利用其训练 SVR 模型。

此外，我们还确保了子集之间没有内容的重叠。为了避免对训练集选择的性能偏差，实验重复进行了 200 次，并且取中位数作为最后的结果。由于在 GREED-VMAF 中只使用了 VMAF 的空间特征，并且 VMAF 框架要求比较视频具有相同的帧率，因此我们通过时间子采样来匹配帧率，从而更好的捕捉空间伪影。

性能分析

与其他方法和模型的性能对比

对于现有的全参考质量评价模型，需要参考视频和失真视频有相同的帧序列，因此对于有不同帧数的视频对，需要首先采用帧补全的处理，再进行评价。我们提出的方法与其他评价方法和模型的性能对比如下表所示：

与其他方法或模型的性能对比

对于特定帧率的视频质量评价

将数据集按照不同的帧率分开，对不同帧率的视频分别进行评价，得到的性能比对如下表所示：

不同帧率的视频的性能

从表中我们可以看出，GREED-VMAF 在低帧率时有着更好的表现，而在较高帧率情况下性能表现不如 GREED。

在其他数据集下的表现

为了评判该模型对于非高帧率数据的泛化能力，采用了其他三个 VQA 数据集：LIVE-VQA、CSIQ-VQA 和 LIVE-mobile 进行评价，这些数据集的参考视频和失真视频具有相同的帧率。评价结果如下表所示，我们可以看出 GREED-VMAF 相比于 VMAF 和 GREED 具有更好的泛化能力。