摘 要: 对目前存在的几类提取关键帧的方法进行了分析,并基于车辆自身特征提出一种新的关键帧提取方法。该算法具有良好的通用性和适应性,计算简单,正确率高,有效避免了冗余,并可以控制关键帧的数量。实验结果表明,该算法在提取关键帧方面具有良好的有效性。
关键词: 视频检索;车辆特征;关键帧;圆检测
随着网络和多媒体技术的飞速发展,视频得到了广泛应用,其数量迅速增加。为了方便对这些数据进行有效的索引和管理,视频检索技术得到广泛的研究,其中,就需采用有效的镜头分割和关键帧技术。利用关键帧技术对视频数据库进行有效的快速查询、检索和浏览,可以大大减轻工作量。
关键帧是镜头中最重要、最具代表性的图像帧,它反映了一个镜头的主要内容。针对关键帧这些特点,关键帧的提取有两个基本要求[1]:一方面必须反映镜头中的主要事件,即描述要尽可能准确和完整;另一方面要求数据量小,即计算不能太复杂。当前一般采用的关键帧选取原则较为保守,即“宁错勿少”,这样在保证完整地描述一个镜头内容的同时造成了大量的冗余。为解决这一问题,本文针对交通监控视频中相关车辆的检索,提出一种基于车辆自身特征的关键帧提取方法,此算法有效地避免了冗余。
1 常用的主流关键帧提取方法
目前的关键帧提取方法依据是否基于压缩域可分为非压缩域和压缩域方法,依关键帧来源可分为关键帧重组和关键帧提取,其中,关键帧提取是目前主流方法。典型的关键帧提取算法主要分为四类: (1)基于镜头边界提取关键帧[1],该方法将镜头的首帧和尾帧作为镜头的关键帧,简单易行,关键帧数目确定,但是效果不稳定。(2)根据相邻帧间的距离提取关键帧。若距离大于某个预先设定的阈值,则产生一个新关键帧。该方法较为灵活,但只对相邻帧进行距离计算。容易漏检,且对于重复画面多的镜头容易产生冗余。(3)基于运动分析的方法,例如WOLF[2]的光流法,分析计算镜头中的运动量,在其局部最小值处选取关键帧,反映了视频数据的静止,该方法所需计算量较大,时间效率降低,WOLF方法中的局部最小值也不一定准确。(4)基于聚类法提取关键帧,其基本思想是首先从一个初始化的聚类出发,将样本集中的每个元素分配给某个聚类,以达到系统或用户的要求,这种方法效果较好,但是比较复杂,实现起来有一定的困难,而且计算量较大。
2 改进的针对于车辆检索的关键帧提取方法
改进的针对于车辆检索的关键帧提取方法的主要思想如下。
(1) 在镜头分割完毕的基础上,选取镜头的第一帧、中间帧和最后一帧作为候选关键帧。
(2) 对选取的关键帧进行简单的预处理操作,如图像平滑等。由于通过CCD摄像头采集视频图像的过程中容易受到摄像头、视频采集卡、 天气、人为干扰、车辆的颠簸抖动等因素的影响,图像中往往会出现一些不规则的随机噪声。采用适当的方法降噪,可以明显提高对运动车辆的检测率和识别率。例如,本文采用中值滤波[3]处理图像后,可以有效地去除不规则的噪声点,如图1所示。
(3) 物体的形状特征对物体的识别有重要作用[4],本算法采用对校正后的图像进行圆检测[5]方式,识别带有车辆的图像。
对于圆检测,本算法首先想到的是利用圆的几何性质:圆周上任意两条不平行弦的中垂线相交点即为圆心,每次同时选取不在同一条直线上的3个点(x1,y1)、(x2,y2)和 (x3,y3)来确定一个圆,圆心坐标可由这3个点的坐标获得。原理如下:
①用S代表所截取的待检测的图像中的所有边缘点的集合。从S中随机选取不在同一条直线上的3个像素点确定一个圆。本文通过减少随机采样点数来解决这个问题。考虑到一个边缘点的八邻域像素,如果边缘点数目少于3个,认为这个点就是无效采样点。设随机采样的前两个点为s1(x1,y1)、s2(x2,y2),且使s1s2≥T,其中T为一个设定的阈值。s3(x3,y3)则从s1s2中垂线的一端去搜索,这样做是为了减少待检测圆的搜索次数。
为了减少计算量,考虑到圆必定在其外接正方形之内,所以不必对外接正方形之外的那些像素进行计算,可以减少大量的计算时间。取边缘厚度为一个较小数t,对于边缘点s中的点si(xi,yi),若满足xi>a1+r+t、xi<a1-r-t、yi>a2+r+t或yi<a2-r-t中任意一个,则不必计算该点到圆心的距离di,而是继续对下一个边缘点进行计算判定。假设初始化计数器为M,集合中最少点数为m,S中的点数为n,真实圆的阈值为Mmin,边缘厚度为t。检测到的真实圆的个数为j,并初始j=0。该算法的具体描述如图2所示,实现的结果如图3所示。
(4) 对于符合圆检测的图像留作关键帧,其余不符合圆检测的关键帧删除。
3 实验结果与分析
为了检测本算法的效果,分别设计了4组测试实验,每组所涉及的含有车辆关键帧与不含有车辆关键帧数量各不相同,呈递增状。其中,每组实验中所用的含有车辆关键帧里,尽量选用具有不同车型车辆的关键帧作为测试用例,以达到涵盖各种情况的目的。实验结果如表1所示。
实验结果表明,将本算法应用在交通视频中有关车辆的关键帧提取方面错误率低、冗余度小且遗漏程度很低。本算法针对车辆自身特征对带有车辆帧的提取达到了令人较满意的效果。本算法中还可以灵活地加入车辆的其他特征(如车牌等),以取得更好的效果。
为了解决交通视频中有关车辆的关键帧提取问题,本文提出了一种基于车辆自身特征的关键帧提取方法,即基于圆检测的车辆关键帧提取法。实验结果表明该方法切实可行。由于实验中选用的车辆图片以正侧面为主,与现实中任意方位角的车辆相比,还只是较特殊的一类,若要实现任意方位角的车辆帧提取,还要添加一些其他车辆特征,或者实现对图片中车辆倾斜角的矫正等,以达到显示图中车辆正侧面的效果。要使此算法具有普遍性,还需要继续深入研究。
参考文献
[1] 季春. 视频检索中关键帧抽取方法的研究[D]. 南京: 南京理工大学,2005.
[2] WOLF W. Key frame selection by motion analysis[C].IEEE Proceedings of International Confenence Acoust,Speech,and Sigal Proc,1996.
[3] 王耀南,李树涛,毛建旭,等. 计算机图像处理与识别技术[M].北京:高等教育出版社,2003.
[4] 王立国.支持向量机多类目标分类器的结构简化研究[J].中国图象图形学报,2005,10(5):571-
574.
[5] XU L,OJA E, KULTANEN P. A new curve detection method:randomized Hough transform(RHT)[J]. Pattem Recognition Letters,1990,II(5):33l-338.