摘 要： 根据目前错误掩盖领域研究热点，从解码端掩盖技术以及编解码结合的掩盖技术两个研究方向介绍其发展状况，比较并总结了传统插值掩盖技术和主要的新技术的优劣。指出在编码端进行的错误掩盖技术发展渐趋与其他学科结合，编解码结合的掩盖技术则致力于利用不同的数据隐藏技术在编码端嵌入更有价值的冗余信息，有助于迅速了解错误掩盖领域技术的发展状况。最后指出了进一步研究的方向。
0 引言
随着数字视频及图像处理水平的进步和人们对视频及图像视觉质量要求的提高，高清数字视频及图像已步入人们日常生活，与此同时，视频和图像的数据量急剧增加。为了存储和通信运输方便，对数据进行高效压缩是必须的，压缩后的数据之间冗余度大大降低，在经不可靠信道传输时极易受损而发生错误，进而在接收端造成错误解码，使解压后的视频质量严重受损。因此，在数字视频通信中必须应用差错控制机制。在诸多的差错控制技术中，错误掩盖技术是一种重要的错误处理手段。
技术出发点是：在错误发生且错误区域被检测后，利用数据间的时间冗余性和空间冗余性，在接收端通过正确接收的数据和算法实现错误区域重建，而无需数据重发。由于人眼无法感知较小幅度的图像失真，因此该技术是可行的[1]。
错误掩盖领域研究技术主要分为以下两类：只在解码端进行的错误掩盖；编码端和解码端共同进行的错误掩盖。本文分析研究了相应分类下的技术进展，并对各类掩盖算法进行了研究比较，展望了错误掩盖技术发展前景。
1 解码端的掩盖
1.1 技术优势
只在解码端进行的错误掩盖技术针对解码端进行，有以下优势：⑴无需修改编码端，不改变码流结构，不会增加额外的码率；⑵不需要反向信道，不会造成额外传输开销；⑶在一些特殊场合，只能采用解码端的错误掩盖技术，比如实时视频通信和视频广播。实时通信不能忍受视频重传造成的时间延迟，视频广播则不具备反向信道。
1.2 技术分类
根据掩盖时所选择的冗余信息类型，在解码端进行的错误掩盖技术主要分为3类：空间域错误掩盖、时间域错误掩盖和时空结合的错误掩盖。由于空间域错误掩盖（Spatial Error Concealment, SEC）适用范围广（视频切换帧、帧内编码帧等均依赖于空域掩盖），其在错误掩盖中有重要地位，是解码端进行错误掩盖的研究重点，同时也有相当多的改进算法，本节主要介绍SEC传统算法和新算法。
1.2.1 传统SEC算法
SEC算法核心在于重建错误图像块时所选择的插值像素和插值算法，最简单的是利用错误块周边像素进行双线性插值，掩盖错误块。双线性插值方法对于平滑区域的修复效果较好，但对图像的边缘（高频信息）会造成平滑模糊。为了提高修复准确度和视觉清晰度，引入方向插值（Directional Interpolation, DI）以替代简单的邻域插值法，已经成为传统SEC中重要的手段。但是DI的准确度依赖于插值方向的选择。边缘判决[2]可以把错误区域周围存在的多个方向合理利用，正确修复出错误块内的边缘。通常先对错误块邻域像素进行边缘检测，并通过自适应的阈值对这些边缘进行判断，从中选择合适的一个或多个插值方向，最后沿插值方向加权插值即可。边缘判决可以避免引入由于噪声带来的错误边缘。主要插值方向确定后，沿其确定插值像素，并采取加权插值。
1.2.2 SEC新算法
与传统SEC方法集中于方向插值不同，新的SEC算法倾向与其他研究领域应用技术结合，比如模糊聚类、高斯过程回归、序列对比技术、无迹卡尔曼滤波器[3]和人脸识别技术[4]等。本文将介绍前三种。
模糊聚类是聚类分析的实现方法之一。聚类分析是数理统计中的一种多元分析方法，它用数学方法定量地分析样本的亲疏关系，从而客观地划分类型。将模糊聚类用于错误块的相似块寻找[5]，然后依据错误块的相似块的分布位置，进行多方向线性插值。
高斯过程回归（Gaussian Process Regression, GPR）在统计学和机器学习中有大量理论基础，而高斯过程是广义高斯分布函数，性质完全由其均值函数和协方差函数确定，将其均值设为0，可使问题简化为求协方差函数。若将GPR定义在损失块周围区域像素，选定GPR的协方差函数（比如γ指数函数），则可通过极大似然法自适应估计损失像素值，实现错误掩盖[6]。
研究者利用生物信息学中的序列对比分析技术，可以捕捉到图片序列中错误块及周围正确接收块的纹理变化和整体趋势，从而建立最合适的纹理模型[7]。借助纹理模型，构造错误块的预测块，通过计算预测块与损失块周边的正确接收块之间的最小均方差，确定可用像素块的位置，实现空间域自适应插值掩盖。
2 编解码端结合的掩盖
2.1 技术优势
由于在编码端嵌入了有价值的冗余信息，使得在解码端进行EC时可利用的信息更多，更准确，所以编解码端结合的错误掩盖技术的掩盖的主客观效果要优于单纯在解码端进行的错误掩盖。
2.2 技术分类
编解码端结合的错误掩盖技术发展趋势大致可分为两类，一类是基于数据隐藏的错误掩盖技术；另一类是基于分场描述编码的错误掩盖算法。
2.2.1 基于数据隐藏的掩盖技术
此类技术利用数据隐藏手段在编码端嵌入了关键冗余信息，在解码端通过数据隐藏的逆操作，提取出冗余信息，配合传统错误掩盖算法，重建错误区域。其关键在于编码端嵌入的冗余信息和信息嵌入信源时选择的数据隐藏技术。
利用基于最低有效位的数据隐藏技术的具体操作是，图像分块后，利用离散小波变换（Discrete Wavelet Transform, DWT）后的量化操作，可以得到块的描述信息（Block Description Information, BDI）。每个BDI代表该图像块的一个低质量复制。通过基于最低有效位的数据隐藏技术，将单个块的BDI隐藏到另一个块的信息中，当其中某个块发生错误时，可从其他块中获取到BDI信息，从而重建错误块。当某个块及隐藏其BDI信息的块都发生错误时，利用邻近像素插值法重建[8]。
同样是利用图像DWT系数，将其划分为一群完全树，利用改进的多集树集合分裂算法对每个完全树独立编码，形成完全树的参考码，每个树的参考码被嵌入到不同位置的另一棵完全树中，完成编码端冗余信息的隐藏，解码端利用参考码加强错误掩盖效果。
对基于不等差错保护（Unequal Error Protection，UEP）策略的视频信息流可采用与上述算法不同的掩盖方案。UEP策略对感兴趣区（Region-of-Interest, ROI）信息采用了较强的差错保护，而对低突出性（Low Saliency，LS）的图像区域采用较低的差错保护，导致信息流在经不可靠信道传输时，LS区域更易发生错误，故可将LS区域的预测图嵌入视频信息中[9]。
此外，还有许多利用数据隐藏技术进行编解码端结合的错误掩盖技术，例如利用基于量化索引调制的水印技术，将视频中每帧图像的抖动色版本隐藏到视频中[10]；将每帧视频图像中ROI的宏块运动矢量嵌入到该帧的背景区域[11]等。
2.2.2 基于分场描述编码的错误掩盖
分场描述编码属于多描述编码技术，而多描述编码技术是在视频重传不能实现的情况下最重要的抗误码技术之一。分场描述编码技术对单帧图像按奇偶行或列扫描，记为奇场描述和偶场描述，两者分别独立编码传输，在接收端合并。对于图像序列，可按时间分为奇偶两个序列，对每个序列中的每帧图进行奇偶分场，即对视频信号分为四个描述编码发送，在接收端根据丢失场的位置信息或者运动矢量分析自适应选取时域掩盖或者空域掩盖。
2.2.3 技术的优缺点
基于数据隐藏的掩盖算法由于在信源中加入了更多的冗余信息，所以掩盖效果普遍优于解码端的插值算法。主要缺点：一是信源端信号轻微降级；二是编解码要同步，增加了计算复杂度。
分场描述编码可在信道丢包率较高的情况下恢复出较好的图像[12]，但因一幅图分两场描述并独立编码，导致信息存在更多的冗余。
3 主要技术对比分析
解码端错误掩盖技术通过修复一定错误模式的单帧图像来展示其修复效果，而编解码端结合的错误掩盖技术则假设信道有一定误码率，在接收端再进行掩盖。故分为两节展现两大分类中主要技术的对比。
3.1 解码端的错误掩盖技术对比
针对解码端错误掩盖的技术实验中的棋盘式经典图像错误模式（如图1所示，块大小为16×16），比较foreman图像经双线性插值、空间域的多方向插值和基于GPR的掩盖后主客观效果。图2为实验用foreman原图，图3展示了三种算法对棋盘式错误模式下的foreman掩盖后的主观效果和客观的峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）。
3.2 编解码结合的技术对比
图4显示了在不同丢包率下，编解码端结合的算法与H.264的掩盖算法的PSNR对比。选取的编解码端结合掩盖算法有：基于数字水印技术算法[11]、隐藏ROI算法[12]和基于分场描述算法[14]。数据来自相应参考文献。
从图4可以看出，不同算法之间掩盖效果差别较大，其中基于数字水印的掩盖算法的掩盖效果随着丢包率的增大，掩盖效果急剧下降，而基于分场描述的错误掩盖有较好的鲁棒性。
4 总结
本文根据数字视频的错误掩盖领域最新研究和发展方向，主要介绍了解码端和编解码端结合的错误掩盖新技术。分析了两类技术涉及的主要算法并进行了掩盖效果的主客观比较。可以展望，编码端进行的错误掩盖技术将越来越多地与其他领域的成熟技术结合；编解码端的错误掩盖领域则将对嵌入的信息类型和信息隐藏技术做出更多合理化尝试。
参考文献
[1] 郭宝龙, 倪伟, 闫允一. 通信中的视频信号处理[M]. 北京: 电子工业出版社, 2007.
[2] Asheri H, Rabiee H R, Pourdamghani N, et al. Multi-directional spatial error concealment using adaptive edge thresholding[J]. IEEE Transactions on Consumer Electronics, 2012, 58(3): 880-885.
[3] 崔世华, 崔慧娟, 唐昆. 基于无迹Kalman滤波的高误码掩盖技术[J]. 清华大学学报, 2013, 53(4): 537-541.
[4] 张江鑫, 谢晋, 邝万坤. 基于人脸五官特征的空域差错掩盖算法[J]. 中国图像图形学报, 2013, 18(8): 913-918.
[5] 沈寒, 朱秀昌. 基于模糊聚类的空域视频差错掩盖[J]. 信号处理, 2009, 25(4):592-595.
[6] Asheri H, Rabiee H R, Pourdamghani N, et al. A gaussian process regression framework for spatial error concealment with adaptive kernels[C]. 2010 20th International Conference on Pattern Recognition (ICPR), Istanbul, IEEE, 2010: 4541-4544.
[7] Nangam P, Kumwilaisak W, Keawkumnerd S. New spatial error concealment with texture modeling and adaptive directional recovery[C]. 2010 International Conference on Electrical Engineering/Electronics Computer Telecommunications and Information Technology (ECTI-CON), Chiang Mai, IEEE, 2010: 703-707.
[8] Kim K S, Lee H Y. Lee H K. Spatial error concealment technique for losslessly compressed images using data hiding in error-prone channels[J]. Journal of Communications and Networks, 2010, 12(2): 168-173.
[9] Hadizadeh H, Baji I V, Cheung G. Saliency-cognizant error concealment in loss-corrupted streaming video[C]. 2012 IEEE International Conference on Multimedia and Expo (ICME), Melbourne, IEEE, 2012: 73-78.
[10] Freitas P G, Rigoni R, Farias M C Q, et al. Error concealment using a halftone watermarking technique [C]. The 25th SIBGRAPI Conference on Graphics, Patterns and
A survey of error concealment technologies in digital video