一种基于全局运动统计和边缘平滑滤波的视频去隔行方法
2009-02-19
作者：周 津1， 姚素英1， 柳崎峰2
摘 要： 一种新型运动自适应去隔行视频处理算法，并进行了数字逻辑电路实现。该算法利用全局运动统计方法对传统的运动检测结果进行校正处理，以提升运动检测处理的准确性。对场内空间插值进行定向边缘平滑滤波，保持边缘的清晰平滑。
关键词： 去隔行; 运动自适应; 全局运动统计; 边缘平滑滤波; 数字逻辑电路
视频去隔行处理的功能是将隔行扫描的视频序列转换为逐行扫描视频序列，从而用于逐行播放设备,主要包括：逐行CRT显示器、液晶LCD、等离子显示器以及投影仪等的显示。目前的去隔行算法分为两类：运动补偿算法MC(Motion Compensation）和非运动补偿算法NMC[1-2]。
非运动补偿算法的基础为时间域插值算法和空间域插值算法[2]。时间域插值也称为场间（inter-field）插值算法，其优点是对于静止区域能还原得到最好的图像结果，但在运动区域则会出现羽化现象。空间域插值算法即场内（intra-field）插值算法，适用于运动区域的处理，目前多采用边缘方向插值的方法以保护图像边缘信息。但是由于空间域信息的不足，因此这种方法会出现图像模糊和边沿锯齿现象。运动自适应方法[3]结合了上述两种方法的特点，通过对像素点进行运动检测，判断其运动状态，从而确定最终的插值方法[4-5]。该方法的问题在于不准确的运动状态检测结果会直接影响最终的图像质量，而被检测为运动状态的区域依然存在场内插值的模糊与锯齿问题。
运动补偿算法[6]是更为先进的去隔行处理算法，主要是根据运动估计处理得到运动矢量信息，并以此作为像素插值的参考依据。理论上这种方案能提供更高质量的图像处理结果，但其计算复杂，会极大地增加运算量以及硬件实现的资源开销。此外，运动补偿算法本身对运动估计精度的要求较高，在无法完全确定运动矢量的准确性时仍然需要运动自适应算法作为补充方案[7]，以达到最佳的处理结果。
针对以上问题，本文提出一种基于全局运动统计和边缘平滑滤波的运动自适应去隔行视频处理算法，并进行了数字逻辑电路实现。该方法提升了运动检测的准确性，保证了边缘的平滑，达到提高图像处理质量的目标，同时其适当的运算开销适于硬件逻辑电路应用。
1 算法描述
运动自适应去隔行方法利用像素点空间和时间邻域上的像素信息对其进行运动检测，得到归一化运动状态值M[8]。而后分别采用时间域场间平均插值和空间域场内定向边缘插值方法[9]，得到中间结果Pinter和Pintra，并按照公式(1)以M为系数进行加权平均，得到最终结果Presult。该方法影响图像质量的关键在于改进运动检测的准确性以及提高场内插值方法的处理效果，这也是本文研究的重点。
1.1 基于全局运动统计的运动检测
传统的运动检测是利用相隔场(即奇-奇场或偶-偶场)对应位置的局部时空域内像素信息进行计算，本文称其为帧间运动检测结果Mframe。由于该方法受到帧频的限制以及噪声等因素的影响，往往会出现检测误差，从而导致处理结果的错误。针对该问题本文提出了基于全局运动统计的运动检测算法，其基本流程如图 1所示。本方法利用边缘检测处理和场间运动检测处理得到的参考信息，判断图像的全局运动状态。而后根据上述信息从全局的角度对局部帧间运动检测结果进行分类校正，从而提高运动检测的准确性。
1.1.1 场间运动检测
帧间运动检测使用相隔场之间信息进行运动的判断无法检测出高于帧频的运动，针对这个问题本文的方法是引入场间运动检测处理。首先计算待处理像素与相邻场对应位置像素的绝对差值，然后利用阈值处理得到是否存在场间运动的标志信号Ffield。
式(2)中，由于当前场中该位置并没有对应的原始像素点，因此采用垂直滤波的方法得到该位置的估计值。其中n表示时间轴上待插值像素点所在的场序号，i和j分别表示像素点的垂直和水平坐标位置，a(m)(m∈{-3,-1,1,3})为低通滤波器系数，Tfield为场间运动阈值。
1.1.2 边缘检测
边缘检测用于检测待插值像素是否处于图像中物体的边缘位置，如图2所示，其中黑色为原始像素点，白色为插值像素点，而灰色为待检测像素。D1～D5进行当前第n场边缘检测，D6利用第n-1场辅助检测当前场高频的双向跳变边缘。而后计算上述差值集合的最大值是否超过阈值Tedge，即得该像素点是否为边缘点的标志信号Fedge。
1.1.3 运动统计校正
运动统计校正功能整体流程如图3所示。经过实验表明，图像中边缘的运动状态往往更能代表图像的运动状态，即如果边缘像素点普遍运动，则图像偏向有运动；反之则图像偏向无运动，因此，使用边缘检测得到边缘处像素点的帧间运动信息进行全局统计，而非边缘点则忽略不计。
首先按照阈值式(4)得到是否存在帧间运动的标志Fframe，而后逐点统计一幅图像的边缘点中有帧间运动和无帧间运动的像素个数，分别得到运动量Nm和静止量Ns,再按照式(5)条件得到全局运动状态C(n)。
接下来利用上述得到的三个像素局部运动特征(帧间运动标志Fframe、场间运动标志Ffield、边缘标志Fedge）以及一个全局特征（全局运动状态C(n)）形成四维状态分类，以确定每个像素所属的状态以及对应的校正系数{kp,q|p∈[0,2]、q∈[1,5]}，如表 1所示。
根据校正系数k，对原有帧间运动检测结果按式(6)进行校正，得到运动检测校正值M′用于式(1)的运动自适应加权。
1.2 边缘平滑滤波
场内边缘方向滤波插值的流程如图4所示。首先需要对像素点的边缘方向进行检测，而后沿该方向θP对像素进行定向滤波插值，得到插值结果Pdir_flt。处理后的图像会出现一定程度的锯齿现象，特别是在一些比较细微的斜向边缘或斜线处，这种情况更为明显。这里提出新型边缘平滑滤波算法，即利用定向插值信息，对插值结果进行有选择的滤波处理，可以有效地消除锯齿现象，提升图像质量。
以图5所示待处理像素A为例，其方向滤波的插值方向θP如双箭头虚线所示。平滑滤波以该方向为基准，沿第1、3象限分别计算该方向侧上方像素差值绝对值DBC=|PB-PC|、侧下方像素差值绝对值DDE=|PD-PE|以及角点像素差值绝对值DGH=|PG-PH|（方向为第2、4象限同理可得）。而后比较DBC和DDE得到较小值Dmin和较大值Dmax。再分别判断以下四项条件，以确定是否满足选择性滤波要求，其中T1、T2和T3分别为判定阈值。
(1) C1: Dmin
(2) C2: Dmax>T2（该条件表示差值较大的一侧相关性较弱）;
(3) C3: DGH>T3（该条件表示角点之间的相关性较弱）;
(4) C4: θP(0,π/2)（该条件表示当方向为水平或垂直时不做处理）。
上述判定条件是为了保证选择出待处理像素的某邻近像素之间具有足够大的相关性的同时，其他邻近像素的相关性比较弱，以避免出现误平滑的情况。平滑处理是对满足条件的待处理像素A以及对应较小值Dmin的两个像素进行低通平滑滤波（其中{a(m),m∈[0,2]}为滤波器系数），从而得到最终像素A的滤波结果Pintra。如果不满足条件则略过此过程。
2 逻辑电路实现
图6所示为去隔行逻辑电路单元结构图。该电路设计要求处理10位亮度和色度信号，接收NTSC制(525/60Hz)以及PAL制(625/50Hz)视频输入。数据格式为4:2:2的YUV类型，最大图像尺寸支持1920×1080像素(HDTV)。由于需要同时对三场图像进行处理，因此外接了二场缓冲存储器。改进功能模块电路(全局运动统计和边缘平滑滤波)共使用了23个加(减)法器和31个比较器，而并不包含复杂的乘除法运算以及占用开销较大的行/场缓存，因此硬件开销较小，同时有利于保证电路的高速处理。
3 实验结果
3.1 客观数据比较
对常用去隔行处理方法（场内线性插值(BoB)、场间平均(weave)[2]、运动自适应插值(MA)以及本方法（即在运动自适应插值基础上增加全局运动统计校正算法和边缘平滑滤波算法）进行峰值信噪比(PSNR)[10]的比较，此外加入四场运动自适应算法[11]（4F-MA）、3D递归运动补偿算法[4](3DRS-MC)以及四场自适应全局运动补偿算法[7](4F-AGMC)作为对比。各算法处理结果如图7所示。根据数据可以看出，本文方法与原有运动自适应方法相比，由于运动检测结果更为准确，同时减少了场内插值的锯齿效应，因此PSNR值有所提高，已经达到或接近运动补偿方法的效果。虽然对于运动较为剧烈的图像中本文方法结果有所不足(如Stefan和Tennis)，但优势是在运算代价较小的前提下，仍能保证较高的图像处理质量。
3.2 主观评价对比
PSNR比较虽然是图像处理中重要的评测方法，但有时难以完全体现算法的处理效果，因此主观评价同样重要。这里以测试视频Stefan和tin序列为例来说明算法的改进效果。测试视频Stefan中球拍的高速运动会导致运动检测的失败而使图像出现栅状横线，如图8所示，本文全局运动统计的校正方法可以有效地消除这个缺陷，从而达到更好的图像质量。测试视频tin存在一些运动的斜向细线，如果场内插值不够准确就会出现如图9所示锯齿，而本文方法改进了场内滤波将细线变得更清晰和平滑，改善了最终的视觉效果。
本文提出一种基于全局运动统计和边缘平滑滤波的运动自适应去隔行视频处理算法，并进行了数字逻辑电路实现。该方法利用全局运动统计方法对传统的运动检测结果进行校正处理，得到更为精确的运动状态信息用于自适应加权插值。此外，对场内空间插值的结果进行沿边缘方向的平滑滤波，从而保持边缘的清晰平滑。
实验表明，本文方法在只增加较少运算开销的前提下，达到或接近运动补偿算法的处理效果，提高了运动自适应去隔行视频处理方法的图像质量，适用于硬件逻辑电路实现以及视频实时处理应用，具有较高的实用价值。
参考文献
[1] JACK K. Video demystified[M]. Englewood Cliffs, Elsevier Inc, 2005.
[2] HAAN G D,BELLERS E B.De-interlacing-an overview[J]. Proceeding of the IEEE, 1998,86(9):1839-1857.
[3] ACHIHA M, ISHIKURA K, FUKINUKI T. A motionadaptive high-definition converter for NTSC Color TV
Signals[J]. SMPTE Journal, 1984,93(5):470-476.
[4] MARTINS B, FORCHHAMMER S. A unified approach to restoration, deinterlacing and resolution enhancement in decoding MPEG-2 video[J]. IEEE Trans. Circuits and Systems for Video Technology, 2002,12(9):803-811.
[5] LEE S G, LEE D H. A motion-adaptive de-interlacing method using an efficient spatial and temporal interpolation [J]. IEEE Trans. Consumer Electronics, 2003,49(4):1266-1271.
[6] HAAN G D, KETTENIS J, LOORE B D. IC for motion compensated 100Hz TV with natural-motion movie-mode
[J]. IEEE Trans. Consumer Electronics, 1996:165-174.
[7] CHANG Y L, LIN S F, CHEN C Y, et al. Video deinterlacing by adaptive 4-field global/local motion com-
pensated approach[J], IEEE Trans. Circuits and Systems for Video Technology,2005,15(12):1569-1582.
[8] YU L J, LI J T, ZHANG Y D, et al. Motion adaptive deinterlacing with accurate motion detection and antialiasing interpolation filter[J]. IEEE Trans. Consumer Electronics, 2006,52(2).
[9] HAAN G D, LODDER R. De-interlacing of video data using motion vectors and edge information[C]. Digest of the ICCE′02, 2002:70-71.
[10] WANG Yao, OSTERMANN, ZHANG Y Q. Video processing and communications[M]. Pearson Education, 2003.
[11] LIN S F, CHANG Y L, CHEN L G. Motion adaptive de-interlacing by horizontal motion detection and enhan-
ced ELA processing[C]. Proc. 2003 IEEE Int. Symp. Circuits and Systems,2003: 696-699.