[Single Image Super-Resolution via Locally Regularized Anchored Neighborhood Regression and Nonlocal]-Junjun Jiang, 2017, IEEE Transactions on Multimedia
邻域嵌入(Neighbor Embedding, NE)是“样本-样本”映射,在训练样本中寻找测试样本的相似邻居特征样本,计算量略大。
稀疏编码(Sparse Coding)重建的过程是从字典中自适应的选择一个或者多个字典原子,这些字典原子适合当前输入低分辨率图像块特征,最后利用这些字典原子的线性组合来得到相应的高频细节特征。需要在重建过程计算LR到HR图的原子投影矩阵,计算复杂度高。
锚点邻域回归(Anchored Neighborhood Regression, ANR)改进SC算法,SC的原子投影矩阵需要在重建过程进行在线处理,耗时很大。ANR算法提出找一个投影矩阵可以在训练阶段离线计算,映射关系确定后在重建过程直接使用,可以实时重建高分辨率图像。
稀疏表示的思想在于LR字典与HR字典可以共用一套稀疏系数矩阵
LR: 低分辨率;HR:高分辨率
Junjun Jiang提出LANR-NLM算法,处理learning the mapping functions问题,使用非局部自相似性和局部几何先验(with nonlocal self-similarity and local geometry priors)加入LR-HR映射关系中。
非局部自相似先验利用了自然图像中相似块的冗余,而数据空间的局部几何先验可用于规范LR和HR空间之间非线性关系的建模。基于以上两个考虑,在正则化patch表示之前应用局部几何,然后利用非局部均值滤波器来改善超分辨率结果。
在重建阶段用NLM增强细节,会增加重建时间
指标:peak signal to noise ratio (PSNR), structure similarity (SSIM) index and feature similarity (FSIM)
图像:Set5” and “Set14
参数:HR 图用 7x7的模板的高斯滤波标准偏差1.6(standard deviation of 1.6),下采样3倍
HR patch 9x9, LR patch 3x3 overlap of 2 pixels
特征提取:LR images, four 1-D fifilters,同Yang,Zeyde
降维:应用PCA降维法将提取的特征投影到一个低维子空间上,同时保持总方差的99.9%。
30维的特征用于采样
HR patch特征 :从HR图像中减去插值的LR图像来
训练数据:91个训练图像,生成135581 patch对,最后得到1024个字典
λ1 = 1e − 5,
K = 200, and α = 11
λ2=0.005
总体来说较对比算法 指标更好
在训练阶段,先收集大量 LR 和 HR 图像组成的训练集,然后特征提取匹配的patch对,形成 LR 和 HR 特征样本训练集。 通过稀疏编码训练一个紧凑的 LR 字典,并在 LR 和 HR 特征共享相同表示的假设下构建相应的 HR 字典。 然后使用 LANR 模型来学习每个字典原子的投影矩阵。
在重建阶段,我们首先在LR字典中搜索每个patch中最相似的原子,然后使用训练阶段得到的该原子的投影矩阵来预测HR特征。最后,使用一种NLM滤波器增强方法来减少估计的HR图像中的伪影。
改进:1、LANR模型学习投影矩阵,2、NLM滤波减少伪影
在训练阶段引入新的约束项得到新的投影矩阵
其中 . 表示点向量积, \lambda1是正则化参数。g_i是K维惩罚向量,与输入LR块 y_i和每个K最接近的字典原子有关,与相关性 corr(y_i,D_L^k)成反比。
与Yang 的ANR算法相同,一般不用欧氏距离而用某种相关性,比如向量内积
其中 \alpha用于调整本地适配器的重量衰减速度,其设置为11
重写目标函数公式,得:
N_L和G是块对角矩阵,N^L = blkdiag(N_{1,j}^L , N_{2,j}^L,..., N_{N,j}^L ) and G=blkdiag(g_1 , g_2 ,..., g_N )
推断,Y= D_Lw = DHD_H w
同样,N^Lw = DHN^H w
重写目标函数公式,得
在重建阶段后,得到output 对HR patch进行NLM增强,就是每一个HR patch找到相似得patch然后将相似的patch与HR patch进行相加均值