基于学习的图像超分辨率算法-webmail

《基于学习的图像超分辨率算法-webmail》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、1基于学习的图像超分辨率算法林宙辰微软亚洲研究院，北京1001901引言超分辨率（superresolution）算法是增强图像或视频分辨率的技术，它的目的是要使得输出的图像或视频的分辨率比任意一幅输入的图像或输入视频的任意一帧的分辨率都要高。这里的“提高分辨率”意味着已有内容更加清晰或者用户能看到原来没有的细节。在获取高质量的图像或视频比较困难或者代价比较昂贵的时候，使用超分辨率算法是很有必要的。比如在视频监控（videosurveillance）中，人脸所占的区域往往只有几十个像素；在遥感（remotesensing）中，超高分辨率器材的价格会远远高于一般分辨率器材的价格；

2、而且用户对提高分辨率的需求没有止境。超分辨率技术自Tsai和Huang[1]1984年提出以来算法甚多，按照其主要原理大致可分为四类[2–4]。第一类是基于插值的算法。这类算法先把低分辨率图像配准（register）到要计算的高分辨率图像的格点上，然后运用非均匀插值（non-uniforminterpolation）技术把高分辨率图像每一像素的值插值出来，最后再反卷积以进一步提高清晰度。第二类是基于频率的算法。这类算法利用了傅立叶变换（Fouriertransform）空域上的平移对应于频域上的相移的性质，从具有不同相位的低分辨率图像的频谱中估计出高分辨率图像的频谱，然后做傅立

3、叶反变换重构出高分辨率图像。第三类算法是基于重构（reconstruction-based）的算法。这类算法先是根据低分辨率图像和高分辨率图像之间的配准关系，得出每个高分辨率像素对每个低分辨率像素灰度值的贡献，由此得到一个联系高分辨率像素构成的矢量和低分辨率像素构成的矢量的线性方程组，再通过求解该线性方程组获得高分辨率图像。第四类算法是近年来才涌现出来的新型算法，即基于学习的算法。相比之下，前三类算法只是把图像作为信号来处理，而基于学习的算法更注重对图像内容和结构的理解，它利用和问题及数据相关的先验知识来提供更强的约束，因此经常能得到更好的结果。现有的基于学习的超分辨率算法已有

4、不少，如果按照适用的图像来分，它可以分成通用算法和专用算法两种。通用算法指的是该算法可适用于各种类型、各种尺寸的图像或视频，比如[5–14]。而专用算法指的是该算法只适用于某种类型、某一尺寸的图像或视频，比如用于人脸幻构（facehallucination）的算法[15–25]。通用算法的特点是要把图像分块，先逐块处理，再联合处理以消除相邻块之间的不一致。而专用算法目前基本上只处理人脸图像或视频，这既是应用上的驱动，也是由人脸的特殊性决定的，因为人脸有非常强的结构，而这种结构又比较好表示，比如用特征脸（eigenface）[10,21]、张量脸（tensorface）[23]等

5、。另一方面，基于学习的超分辨率算法如果按照它的运行细节来分，则可以分成直接最大后验算法和间接最大后验算法两类，其中后者还可以再细分成全局算法和局部算法两类。以下我们就按后一种分类法简要介绍现有的基于学习的超分辨率算法的思想，然后探讨基于学习的超分辨率算法的极限，即它最多能“有效放大”图像多少倍。2现有的基于学习的超分辨率算法综述2.1间接最大后验算法抽象地说，间接最大后验算法是把超分辨率问题表述成如下形式：12NHargmaxPPLiHH，（1）Hi1其中H是要求的高分辨率图像，H（Li）是和高（低）分辨率图像有关的数量或特征（

6、H（Li）N可以就是高（低）分辨率图像本身）。不同算法的差别在于似然PLHi和先验概率i1PH的定义。2.1.1局部间接最大后验算法局部间接最大后验算法先逐块估计高分辨率图像，然后再解决相邻重叠的高分辨率图像块之间的不一致性，从而得到最终的高分辨率图像。比较有代表性的算法是Freeman和Pasztor[5]1999年提出来的Markov网络（Markovnetwork）方法。这个算法也是最早的基于学习的超分辨率算法，它属于通用超分辨率算法。它把超分辨率算法表述成高分辨率图像高频成分的推1断问题：HLHˆ,其中L是把低分辨率图像插值到

7、高分辨率图像的尺寸所得到的高分辨率图像的低频成分，Hˆ是缺失的高频成分。Hˆ通过如下方式估计：HˆargmaxPPLHˆHˆ,Hˆ其中L是L的中频成分。请注意这里Hˆ的估计方式和（1）式相近。在[5]中，PLHˆ和PHˆ都分块定义：PPLHˆlhkkˆ，PPHˆhhˆijˆ，ki,hhˆN()ˆji其中hˆk和lk分别是Hˆ和L里对应的图像块，N()hˆi是hˆi相邻的图像块集合。因此，上述定义式可以用图1里的Markov网络表示图像块之间