杨海丽，黄洪琼

　　（上海海事大学 信息工程学院，上海 201306）

　　摘要：由于视频场景变化较快、配准误差、噪声、低分辨率图像数量不足等原因，会使传统基于压缩感知的采用视频帧固定分组形式的视频编解码器的重构效果较差，同时也使超分辨率重建出现病态问题。为解决这些问题，文章提出一种基于压缩感知的自适应帧图像分组的视频编解码器，同时又在超分辨率重建算法中提出了L曲线的自适应时空正则化系数计算方法，可以自适应地计算正规化系数。由实验结果表明，该算法能够很好地解决上述问题从而重构出视觉效果良好的视频帧图像。

　　关键词：压缩感知；视频帧图像自适应分组；超分辨率重建;自适应时空正则化;L曲线

　　中图分类号：TP391.9文献标识码：ADOI： 10.19358/j.issn.1674-7720.2017.09.015

　　引用格式：杨海丽，黄洪琼.视频帧间分组及超分辨率重建的自适应性研究［J］.微型机与应用，2017,36（9）：49-52.

0引言

　　*基金项目： 国家自然科学基金（61673260）

　　随着人类精神生活需求的不断提高，一些高品质的数字图像、视频成为生活中不可或缺的部分，若是在处理这些含有海量信息数据的数字视频图像时，仍遵循奈奎斯特抽样定律就会出现采样数量过大的弊端，同时也会给信息存储和传输带来很大麻烦。压缩感知理论的提出成为解决这一难题的指路明灯。Candes率先在数学领域推理出可以从部分傅里叶变换系数精确重构原始信号的结论［1］,这一结论的成功论证给信号的重构提供了崭新的思路。而后经不断深入研究，压缩感知的概念及理论被正式提出，其理论精髓在于将压缩理论与采样理论巧妙结合。在采样过程中不再是单纯对原始信号进行直接采样，而是对其非自适应线性投影测量值进行采集,然后再由相应的重构算法凭借测量值重构出原始信号［2］。压缩感知理论中所采集的信号的投影测量数据量相比传统采样要少很多,正好弥补了奈奎斯特抽样定律在数字视频图像处理中出现采样数量过大的缺点，使得高分辨率信号的采集成为可能，这一突出的优势奠定了压缩感知理论在视频处理技术领域中的重要地位［3］。

　　视频技术迅猛发展和一些新的视频应用使得传统基于压缩感知的视频编解码方式及重构方式不再完全适用，一些传统算法的改进也面临着巨大挑战。比如在安全监控系统中，当有意外状况发生，需要对监控录像进行超分辨率重建，从而为事件的处理提供重要线索；把一般的NTSC格式低清电视信号

　　转换为高清电视信号(简称HDTV)，从而可获得更好的图像质量。基于此，本文对视频帧间图像分组及超分辨率重建两者的自适应性方面展开研究，以提高重构视频帧图像的质量。

1视频帧间分组及超分辨率重建的自适应性研究

　　1.1自适应帧图像分组视频编解码器

　　文献［4］首次提出了基于压缩感知理论的视频编解码器，它是以整幅视频帧图像为最小基数来处理，并利用感知压缩理论大大减少了重构视频时所需的图像样本数，使运算的复杂度得到优化。文献［56］提出了分布式视频压缩感知(Distributed Compressed Video Sensing) 理论，借助参考帧来降低测量率提高整个编解码系统的性能，可广泛应用于无线传感网或泛在网络。这些基于压缩感知的视频编解码器在对视频帧图像分组环节中，基本都是按顺序划分出每组，且每组的视频帧数量都是相同的。此种处理方式应用在没有快速改变的视频场景时，重构效果是较好的［78］，如若视频在下一帧突然出现情景的迅速改变，仍旧采用这种处理方式，则效果甚为不佳。基于以上情况，本文提出了一种可以适应视频场景出现迅速改变的自适应帧间分组的视频编解码器。

　　本文提出的能够适应视频场景出现迅速改变的自适应帧间分组的视频编解码器设计重点主要有两处，首先是如何判断视频场景是否发生了迅速改变，然后是如何针对此类情况实现不同于传统形式的分组。针对如何判断视频场景有无快速改变的问题，本文采取的办法是在对视频图像处理时首先设置了阈值判决这一步骤。在本文中该阈值是用来判断当前帧与参考帧的差异性，故选择峰值信噪比来作为各帧图像差异性大小的鉴定参数。下面进行不同于传统分组方式的自适应分组。首先将视频第一帧默认设为第一组的关键帧，然后从第二帧开始作为当前帧并同上一帧进行帧图像差异性比较，即进行阈值判决。若是当前帧与参考帧之间的差异系数小于设定阈值，则将当前帧同当前关键帧划为一组，并将当前帧定义为该组的非关键帧；如果当前帧与参考帧之间的差异系数大于或等于阈值，则要重新定义一个组并定义该帧为新分组的关键帧。这样就可以使得视频帧图像实现自适应分组，每组帧数再不是固定不变的了，而是能够随视频场景自身状况而自动规划每组帧数。

　　能够适应视频场景出现迅速改变的自适应帧间分组的视频编解码器实现流程如图1所示。

　　流程图实现具体步骤描述如下：

　　（1）定义视频的第一帧为Group1的第一个关键帧key1；

　　（2）根据上文提出的阈值判决原理和自适应分组原理将视频各帧划分成N组（Group1，Group2，…，Group N），并对应N个关键帧和若干非关键帧；

　　（3）关键帧的处理过程是对整帧图像进行CS编码、传输、解码，再通过自适应的超分辨率重建算法重构出关键帧图像输出；

　　（4）对非关键帧的处理不同于关键帧的地方在于必须先求出一幅残差图像（将非关键帧图像与参考帧图像求残差所得图像），然后再对该图像进行步骤（3）中与关键帧一样的处理。最后还需要进行重构残差图像和参考帧图像相加的处理，完成帧图像输出。

　　1.2视频超分辨率重建的自适应性研究

　　空间域方法在视频超分辨率重建研究中有着较大的研究空间和应用价值，因而成为该领域的研究重点。迭代反投影方法［9］、凸集投影方法（POCS)［10］、最大后验概率方法（MAP）［11］等是近年来比较经典的研究成果。这些典型算法虽然在很大程度上改善了视频重建效果，但是它们中的绝大部分只能够在忽略了很多实际情况的理想状态下实现。在实际的超分辨率重建过程中通常容易出现噪声放大、空间振铃现象等严重影响重建图像质量的病态问题，为避免上述状况的发生一般所采取的解决方案是仅从空间域上来入手通过正则化的方法提升重建质量。本文考虑到视频帧与帧之间是同时存在于空间和时间上的，它们应该在空间和时间上都存在相关联性，所以便将时空联合正则化算子引入到算法之中，来有效提高解的质量。同时又提出了一种能够自适应计算出最合适时空正则化系数的 L曲线计算方法，以提高视频超分辨率重建图像质量。

　　在超分辨率重建过程中，为解决外界噪声等因素带来的不良影响而需要加入惩罚函数，这一解决办法便称为正则化。带有惩罚函数的超分辨率重建如式(1)所示:

　　X=argxmin{AX－Y2+λγX2}(1)

　　式中，AX－Y2是数据拟合项，γX2为正则化项，可以控制解的扰动［12］。λ是正则化系数,λ值增加时，重建图像的平滑度就会随之增大，所以在原始图像信息提供短缺、噪声影响严重等恶劣情况下，需适当增大λ值。然而图像过于平滑又是另一种失真，由于重建图像的平滑度与λ的取值呈一种正相关关系，所以并不是λ的取值可以选择无限大，而是需要找到最合适的λ取值来达到最好的重构效果［12］。

　　带有时空联合正则化算子的超分辨率重建如式（2）：

　　X=argxmin(Y－AX22+λΓX1)(2)

　　此目标函数中，同时引入了L1、L2范数，第一项中的L2范数用于加强数据重建的真实度；第二项的L1范数提高了其梯度域的稀疏性［9］。其中，时空联合正则化算子Γ如下：

　　此处，Slx1、Smx2、 Stt 是将视频X往x1、x2、t方向分别移动l、m、t个像素的平移算子。

　　式（1）中λγX对于AX－Y2可以在lg－lg尺度上进行转换，二者转换所得图形正好是L曲线，而正则化系数λ是沿着这条曲线变化的。 L曲线存在水平和垂直两个部分，两个部分的交界处所出现的拐点的值正是对应过正则化和欠正则化的临界数值［10］，因此该拐点处对应的正则化系数λ的值则是最合适的数值λ*。最合适值的定义式如下：

　　该算法实现的具体步骤为：

　　（1）设需要重建的低分辨率视频帧编号为i（i=1,2,…，），同时给所有高分辨率帧的编号为j（j=i,i+1,...,i+n）；

　　（2）原始的低分辨率视频中的图像序列构成向量Y，构造稀疏矩阵A；

　　（3）构造正则化矩阵Γ；

　　（4）根据Y、A、Γ计算出当前i对应的最合适的正则化系数λ，然后将求出的Y、A、Γ和λ代入到式（2）得到Xi；

　　（5）i=i+1，重复步骤（2）~（4）。当i=num(输入的原始低分辨率视频序列的总帧数)时停止，得到重建的高分辨率视频。

2实验仿真与分析

　　为了证明本文算法的可行性，采用室外监控器录制下来的巡逻舰在水里快速行驶的“Coastguard”视频序列进行实验。实验中采用了一系列像素全为352×288的视频帧图像 ，同时测量矩阵为 32×32的SBHE矩阵，稀疏变换基采用DWT基。

　　在视频帧固定、每组帧数完全相等的分组模式下，将视频帧序列按顺序每10帧划成一组，并规定每组只有第一帧是关键帧。设定关键帧测量率为0.5，非关键帧测量率为0.2，其重构方式采用传统的GPSR，并将该模式取名为（F_GPSR）。在自适应分组模式下，设定阈值T=28，并按照上文自适应分组原理进行不定帧数的分组，设定关键帧测量率为0.5，非关键帧测量率为0.2，其重构方式采用本文所提出的基于L曲线的自适应超分辨率重建方法，将该模式取名为（Proposed）。取其中低分辨率第26帧视频帧图像实验所得对比效果如图2所示，采用Proposed模式视频帧图像重构时的L曲线如图3所示。

　　由图2可以很直观地看出在巡逻船快速行驶的情境下，Proposed模式下得到的视频帧重构图像质量远远优于F_GPSR模式下得到的视频帧重构图像质量，同时由图3可以得出该视频帧图像重构时最合适的正则化系数λ*为0.000 906 08。

　　为凸显本文算法的优越性，使用三种已知的稀疏信号重构算法GPSR 、TwIST 和OMP ，并采用视频帧图像固定分组的视频编码器，与本文提出的自适应结合算法(Proposed)再进行以下对比实验。

　　视频帧均设定MR=30%时，各算法的性能指标比较如表1所示。由表可以观察出在视频帧MR相同的情况下，本文所提出的Proposed算法在平均PSNR性能和平均重构时间上较其他三种算法有着优良的表现。

　　该视频序列在各MR取值状况下各算法重构出图像的平均PSNR性能如图4所示。由图4可以看出，本文所提出的自适应结合算法的PSNR性能明显优于采用视频帧图像固定分组形式下的3种已知的重构算法。特别是在具有较低的MR情况下，Proposed算法可以实现较其他算法更良好的性能。各算法重构每一帧图像所需平均时间（以秒为单位）对比如图5所示，可以很直观地看出，Proposed算法重构每一帧图像所需的平均时间是较短的，说明该算法相比这三种传统重构算法有着较低的重构复杂度。

　　综合表1数据和图2~图5结果可见，本研究所提出的Proposed算法在对于出现场景快速变化的低分辨率视频序列图像的重构处理过程中，无论是在重构图像视觉效果、重构PSNR性能还是重构复杂度上都明显优于现有的固定分组模式下的传统重构算法。

3结论

　　本文提出的算法使得视频帧图像分组和超分辨率重建都实现了能够随所需处理的原始视频自身状况而自适应优化的功能。并通过大量实验证明了采用这种自适应地分组、重构相结合的处理算法能够有效解决由于场景迅速改变及外界不良因素所带来的视频帧图像重构效果较差和病态超分辨率重建的问题，使得视频帧图像在不可避免的恶劣环境下也能够得到很好的重构效果，而且在视频重构PSNR性能和重构复杂度上也有着优良的表现。本文算法在自适应视频帧分组时所取阈值是经多次实验验证而得到的最佳值，接下来的研究将针对该阈值如何更好取值进行。

参考文献

　　［1］ CANDES E, ROMBERG J,TAO T.Robust uncertainty principles: exact signal reconstruction from highly incomplete frequency information［J］. IEEE Transactions on Information Theory，2006,52(2):489-509.

　　［2］ DONOHO D L.Compressed sensing［J］.IEEE Transactions on Information Theory,2006,52(4):1289-1306.

　　［3］ STANKOVIC V,STANKOVIC L,CHENG S. Compressive video sampling［C］.Proc. 16th IEEE International Conference on Image Processing. Poland:IEEE Press,2009:30013004.

　　［4］ XIE X,LU Z,LAI Z.Fast encoding of video based on compressive sensing［C］.Proc. YCICT’09.Beijing:IEEE Press,2009:114-117.

　　［5］ DO T T, CHEN Y, NGUYEN D T, et al. Distributed compressed video sensing［C］. IEEE International Conference on Image Processing. IEEE Xplore, 2009:1393-1396.

　　［6］ BAIG Y,LAI E M K,PUNCHIHEWA A. Distributed video coding based on compressed sensing［C］.Proc. ICMEW 2012.Melbourne,VIC:IEEE Press,2012:325-330.

　　［7］ WU M H,ZHU X C.A video code based on distribution compressive sensing［J］.Procedia Engineering,2012(29):3613-3618.

　　［8］ DONG G,XI Z. A novel video codec scheme based on compressive sensing［J］. Journal of Information and Computational Science,2013,10(14):46814689.

　　［9］ IRANI M, PELEG S. Motion analysis for image enhancement: resolution, occlusion, and transparency［J］. Journal of Visual Communication & Image Representation, 1993, 4(4):324335.

　　［10］ PATTI A J, SEZAN M I, TEKALP A M. Robust methods for highquality stills from interlaced video in the presence of dominant motion［J］. IEEE Transactions on Circuits & Systems for Video Technology, 1997, 7(2):328-342.

　　［11］ BORMAN S, STEVENSON R L. Simultaneous multiframe MAP superresolution video enhancement using spatiotemporal priors［C］. International Conference on Image Processing, 1999. ICIP 99.IEEE, 1999:469-473.

　　［12］ Shang Junguo, Jiao Binliang. Research on Tikhonov regularization of multiframe images reconstruction algorithm［J］. Application Research of Computers, 2011, 28(2):785-787.