深度学习超分辨率最新综述：一文道尽技术分类与效果评测

最近52CV介绍了好几篇图像超分辨率的工作，比如：

CVPR 2019 神奇的超分辨率算法DPSR：应对图像模糊降质

CVPR 2019 | 旷视提出超分辨率新方法Meta-SR：单一模型实现任意缩放因子

CVPR 2019 | Adobe提出新型超分辨率方法：用神经网络迁移参照图像纹理

小米开源FALSR算法：快速精确轻量级的超分辨率模型。

CV君认为图像超分辨率俨然成为了近期计算机视觉的一个热点，这个传统计算机视觉方向火起来有其技术背景——深度神经网络大大改进了图像超分辨率的效果，也有其产业背景——工业界盼望超分辨率能成为降低越来越高的图像、视频数据存储和传输成本的新方向。

几天前，arXiv新出一篇图像超分辨的最新综述文章，来自澳大利亚的Data61的三位学者调研了近年出现的超过30个基于深度学习的超分辨率算法，按照其技术特点分成了9类，对所有算法比较了计算复杂度、参数量、内存占用等，并在6个单图像超分辨率数据集上进行了精度评测，最后作者对该领域存在问题和发展方向进行了展望。

相信该文对该领域的工程开发人员和算法研究人员都会很有参考价值。

以下是论文作者信息：

https://arxiv.org/abs/1904.07523v1

技术分类

按照算法的网络结构特点作者将单图像超分辨率算法分成9类，其总括图如下（请点击查看大图）：

作者把调查的深度学习超分辨方法分成9大类：

1、线性网络

1.1) 早期上采样设计

1.2) 后期上采样设计

2、残差网络

2.1) 单阶段残差网络

2.2) 多阶段残差网络

3、递归网络

4、渐进式重构设计

5、密集连接网络

6、多分支设计

7、基于注意力机制的网络

8、多降质模型处理网络

9、基于GAN的模型

上图列出了各个类别中现存的算法，可于文末下载原论文查看算法具体论文题目。

数据集

作者使用了总计6个常用数据集评测了上述算法：

Set5，仅含有5幅图像的数据集；

Set14，更多类别，14幅图像；

BSD100，100幅测试图像，广泛的类别分布；

Urban100，100幅测试图像，与以上类别完全不同，主要是城市场景，人造的结构；

DIV2K，2K分辨率的图像，800幅训练，100幅用于测试和验证，但测试集未公开，故是在验证集上评估算法；

Manga109，日本艺术家的手绘图像，总计109幅。

计算量和参数量的比较

想当年CV君在上一家公司，有一段时间团队探索更好地提升视频质量的方向，其中让一位实习生跑了下OpenCV自带的超分辨率算法，他后来告诉我要半小时跑一幅图像，实在令人咋舌。

SR算法要走向实用，必须模型够小、速度够快。

作者将上述算法根据其在一数据集上的PSNR结果和Mult-Adds操作数量做了散点图（部分算法未列出），如下：

可见，CARN、SRGAN、SRDenseNet、SelNet是该领域不仅效果最好而且计算量小的算法。

另外作者还比较了上述算法的参数量，如下图：

可见PSNR较高的算法，往往参数较多。目前最高PSNR精度的是RCAN、RDN算法。

下图为上述算法的整体比较（请点击查看大图）：

该文提到的算法都有相应开源代码。

评测结果

作者在上述6个常见数据集上分别对图像超分辨放大2倍、3倍、4倍，比较了常用的PSNR与SSIM评价指标。如下图：

可见，RCAN取得了最好的效果。

下图为几种算法的视觉效果比较：

不过比较有意思的是，作者认为很难用PSNR这种客观评价指标衡量算法效果，他们评价的往往是与原图相比数值差别的大小。而超分辨率本质上是感知问题。

下图为作者将几个基于GAN的超分辨率的方法结果的比较（请点击查看大图）：

虽然这些基于GAN的算法在PSNR的指标上比较低，但其视觉感知上却很好，这种感知驱动的算法值得我们关注。

未来方向

作者最后展望了下SR领域的未来研究方向：

1、结合先验知识

比如对于已知场景、目标、传感器等，开发有针对性的结合先验知识的超分辨率算法。

2、目标函数和度量方法的改进

目前的SR算法大多依旧以像素级的数值误差作为损失函数，而这往往难以衡量感知效果。近年新出的一些建模人眼感知的误差度量方法是值得发展的方向。

3、统一解决方案

真实世界的图像退化往往是多种因素同时存在的，算法设计应该考虑在SR中同时建模高分辨率、低噪声、细节增强等low-level视觉问题。

4、非监督图像超分辨

探索在没有高分辨率图像情况下的SR算法的建模，这一场景更加贴近实际应用。

5、更高比率超分辨率

比如图像放大8倍、16倍，甚至32倍。

6、任意比率超分辨率

不再局限于放大固定倍数，而是任意比率的超分辨率。其实旷视前几天公布的论文CVPR 2019 | 旷视提出超分辨率新方法Meta-SR：单一模型实现任意缩放因子已经实现了。

7、真实vs人造的图像退化

在超分辨率评测数据集中往往使用双三次插值得到低分辨率图像，但真实应用往往存在其他退化模型。CV君前几天分享的CVPR 2019 神奇的超分辨率算法DPSR：应对图像模糊降质，是这一方向的探索。

2月份的时候，CV君已经分享了一篇SR综述：

深度学习图像超分辨率最新综述：从模型到应用

也欢迎大家参考。

论文下载：

在我爱计算机视觉公众号对话界面回复“SR综述“（建议复制），即可收到这两篇论文下载地址。