基于DSP的银行窗口排队人员越界监测报警系统的研究
2009-06-08
作者:苑玮琦,孙 雪
摘 要: 开发一种银行窗口排队人员越界监测报警系统,通过设置在上方的摄像机,监视交易窗口前界限内的交易人员是否出现违规行为,以确保交易安全。该系统解决了交易人员服装与地面色彩反差小、自然光与外加灯光、光线阴影等对目标识别的影响。该系统的特点为处理器采用了TI公司高速低成本5509系列DSP芯片实现监测目标识别功能,使整机成本低,便于推广使用。
关键词: TMS320VC5509A;越界监测;阴影;识别
目前银行智能化监控报警系统基本是针对犯罪分子的入侵或者火灾的发生而设计的,但是相当一部分监控系统并没有达到智能化要求。在这些监控系统中,摄像机多位于银行窗口的内部和室内大厅的顶部,并且摄像机不是垂直、而是成一定角度倾斜照射,处于静止状态。摄像机只记录了人的部分信息,并且要有监控人员在场进行人为监视,因此没有起到实时主动监控的作用。由人执行这种长期枯燥的例行检测,其结果不可靠,而且费用很高。在银行窗口办理业务时,尽管有黄色的警戒线提示人们,在他人办理业务时,其他人应该在一米线以外,但是,人们有时并未按照银行的规定进行,经常需要保安人员进行现场提示。所以对银行窗口办理业务人员的行为进行规范化的智能化监控报警很有必要。
本文提出一种可以自动对窗口排队人员进行越界监测的报警系统,该系统通过安放在银行窗口上方垂直照射的摄像机,监视交易人员是否出现违规行为。用于规范银行窗口办理业务的安全性、秩序性。监控系统中以TI公司的较低成本定点DSP TMS320VC5509A作为处理芯片,采用DMA控制器来存储图像。该方法在减少器件FIFO应用的同时降低了成本,提高了实用化的目的。通过标记办理业务人员的重心轨迹,识别目标的运动状态,从而判断其行为是否违规。其中自然光照以及外加光照的变化,采用基于帧间差分法自适应背景更新算法,能够适应其动态变化。目标分割存在的阴影问题,在hsv空间进行阴影检测并去除阴影。经实验测试,证明该装置具有可应用性。
1 越界监测报警系统的构成
系统主要由CCD摄像机、视频解码器、图像存储器、DSP处理控制器、报警模块等部分构成。硬件系统框图如图1。
系统采用韩国世林一体化摄像机采集室内图像,利用Philips公司的专业视频解码器SAA7113H实现图像的数字化[1]。
SAA7113H输出的像素频率是27 MHz,而DSP存储像素的时间要比视频解码器输出的像素慢,这样就出现了时序上的不匹配,导致丢失像素点。该时序不匹配问题的解决方法是在视频解码器与DSP之间加一个数据缓存存储器FIFO来暂存数据。但该方法增加了一个器件,从而增加了系统的复杂度,降低了系统的可靠性。与此同时还需要增加额外的时间,对于实时图像处理系统来说,该额外时间是应该尽量消除掉的。本装置采用DMA(直接存储器访问)控制器存储图像,该方法在节省FIFO的同时,可以实现视频解码器与DSP的时序匹配,即图像数据的无丢失存储[2-3]。
由于该装置要求具有高速处理数字信号,且不需要进行很大规模的控制,因此采用TMS320VC5509A数字处理器作为该装置的核心处理器。该DSP既要满足算法对速度的要求,又要尽可能降低成本。
本装置核心处理器TMS320VC5509A的片上存储空间是128 K×16位字RAM,对于运动目标检测算法需要是远远不够的,因此需要外扩数据存储器。DSP芯片访问片外存储器时必须通过存储器接口EMIF(External Memory Interface),5509A的EMIF具有很强的接口能力,可以与目前几乎所有类型的存储器无缝连接[2]。本系统应用了4个彼此独立的外存接口(CEx),选用美光MT48LC8M16A2外扩128 MB数据空间来满足系统目标检测算法的需要。MT48LC8M16A2是美光公司推出的一种单片存储容量高达128 MB的16位宽高速SDRAM芯片,它的同步接口和完全流水线的内部结构使其数据传输速率可以高达133 MHz,刷新频率每64 ms为4 096次,从而满足系统实时性的要求。
SDRAM图像存储区可以按照一定的时间周期存储图像帧数据,DSP处理控制部分主要负责整个系统功能模块的总体规划和调度,包括实时监控图像采集数据进行运算处理,并实现报警电路的控制等。
报警电路的作用是当有活动的目标进入设定的警戒区域中时,由DSP处理器控制,发出报警信号。
2 系统工作流程和实现功能
系统的工作过程为:系统开机后DSP的片外存储器的程序被加载到TMS320VC5509A芯片内部的程序区,然后根据程序中的算法对采集到的图像序列进行处理。银行窗口排队交易人员为两个人时的各种状态如图2所示。
图2中:矩形框为监控区域的定位边界;椭圆代表人;箭头方向为目标运动方向。
下面介绍该系统要实现的功能。
监控区域中有一个人时不报警,在有两个人的情况下:
(1)第一个人进入监控区域后,还未办理业务的情况下,第二个人再进入,报警;
(2)在(1)的情况下,第二个人继续进入,要发出连续报警信号;
(3)在第一个人办理业务未返回时,第二人再进入,报警;
(4)在(3)的情况下,第二个人继续进入,要发出连续报警信号;
(5)在第一个人办理业务返回时,第二个人再进入,允许;
(6)在(5)的情况下,第二个人继续进入,允许。
3 运动目标检测
本文提出的银行监控系统,要对给定的区域进行监控,这就需要对监控区域进行“边界定位”。如果边界的像素灰度级发生连续性较大变化,则判断有目标进去。结合图3给出的目标检测方法,能准确识别目标在各种状态下是否进行报警。
3.1 基于帧间差分法的自适应背景更新算法
背景建模的目的是快速建立与背景具有更强鲁棒性背景图像,以确保在背景和目标灰度级相近时,识别出运动目标;并且要求对背景图像实时更新,以保证对不同光照及干扰环境的适应能力。本文采用基于帧间差分法的自适应背景提取算法。
自适应背景提取方法首先将第一帧进行初始化,作为RGB空间内的背景Background,同时通过帧差法进行二值化处理,由二值图像找到运动区域和非运动区域,用当前帧图像中的非运动区域部分更新当前背景图像,而运动区域部分的背景图像则保持不变,经过一定数量图像的迭代便可提取出可靠背景。具体处理流程如下:
(1)步骤1:通过帧间差分法建立二值化掩码图像Mask。
|f(x,y,i)-f(x,y,i-1)|>T(x,y,i) (1)
其中,T(x,y,i)表示第i帧像素点(x,y)处的阈值,如果式(1)成立,则令Mask(x,y)=1。显然,Mask所包含的信息就是当前帧中的运动信息,即不稳定区域,包括光照变化、背景中的扰动、噪声和运动目标。
(2)步骤2:对每一个输入帧均得到对应的局部掩码图像Mlocal,令G(x,y,i)表示在第i帧时像素点(x,y)处的RGB值,如果Mask(x,y)=1,并且Mlocal(x,y,i)=0,则更新Mask和背景Background:
Mask(x,y)=0 (2)
Background(x,y)=G(x,y,i) (3)
当最后所有的点(x,y)基本上都使Mask(x,y)为零时,背景建模初始化结束。Background就是获得的背景图像。
采用当前背景和当前帧的加权平均值来更新背景[4-5]。当前帧可能包括前景目标,所以需要把像素分为前景和背景,然后仅用当前帧的像素来更新当前背景,以适应光照等环境因素的变化。
实验证明,这种方法结构简单,可以快速得到背景图像,满足实时性要求。该算法与运动目标移动的速度、运动方向及目标的尺寸大小无关。
3.2 图像分割
经过背景图像差后,进行灰度形态学滤波。灰度形态学滤波是利用结构元素使得图像的灰度级变大或者变小以保证图像的局部区域内灰度级基本不变。膨胀操作提高了图像的整体亮度,腐蚀操作降低了图像整体亮度。二者结合操作可以消除与结构元素相比尺寸较小的暗细节,并且保持图像整体灰度值和大的暗区域不受影响,它能够更加完整地检测出物体的边缘细节信息,并且避免目标内部出现空洞现象。
采用自适应阈值法进行目标分割。对经过形态学处理的图像的灰度直方图进行平滑处理,每个点P和其左右相邻的5~8个点P0、P1连线,计算曲率cosθ=得到曲率最大的像素点所对应的灰度级S,阈值T=S/255,即为目标分割的阈值。
通过对二值图像的膨胀腐蚀去除孤立的噪声点,得到目标的分割图像。
3.3 确定目标运动状态
在监控区域内,把办理业务的两个人标记为1、2的两块区域k1、k2。在第i帧时,其两重心为p1i(x1i,y1i),p2i(x2i,y2i);下一帧时,其重心坐标分别为p1(i+1),p2(i+2)。
其运动矢量分别为两向量之间夹角为θ,则两向量夹角的余弦值:
若在两目标中心移动的矢量cosθ为正值时,两个人的运动方向相同,这种情况报警;若其值为负,说明两个人的运动方向相反。两人相向而行,期间可能出现两个人相粘连的情况,如果标记为2-1-2,说明运动的两个目标由分开-粘连-分开,并且粘连的时间不超过3 s时,可以判断出这种情况也是允许的,系统不会给出报警或提示信息。
4 HSV阴影去除
目标图像分割以后,可以看出由于自然光照或者外加灯光留下的阴影,这种阴影往往被检测出目标,这需要对阴影进行检测并且去除。HSV阴影检测利用以下三个特征对阴影进行处理:(1)文献[6]研究表明,阴影区域内的点与背景中对应点的比值成比较严格的线性。对各种光场条件下产生的阴影进行分析,发现其比值在1.0~2.5之间。(2)阴影区域相对背景区域亮度降低,但是颜色并没有显著变化。(3)阴影区域相对背景区域饱和度降低。阴影投射到背景不会显著改变背景点的色度,但是通常会降低其亮度和饱和度。在HSV空间中,采用下式判断像素值是否可能为阴影[7]:
其中SP(x,y)为图像坐标点(x,y)处的阴影像素点掩模,Ih(x,y)、Is(x,y)、Iv(x,y)与Bh(x,y)、Bs(x,y)、Bv(x,y)分别表示坐标点(x,y)处当前像素值I(x,y)与背景像素值B(x,y)的h、s、v分量。如果I(x,y)被判定为阴影,则该像素点掩模SP(x,y)置为1,否则SP(x,y)置为0。实验证明,第一个条件是针对亮度分量的,由于阴影的亮度比背景的亮度小,因此β小于1,用来增强算法对噪声的鲁棒性,α则与光源强弱有关,光源越强,α越小,并且参数满足0<α<β<1;第二个条件针对饱和度分量,给饱和度分量的差分设置一个阈值。阴影会降低像素点的饱和度,因此当前图像与参考图像的饱和度差分经常是负数;第三个条件针对色调分量,给当前图像和参考图像的色调绝对值差分加阈值。
5 实验结果
实验结果表明,将系统悬于室内屋顶3.2 m的高度采集室内图像,它能独立完成图像的采集、处理和输出。图像的采集速度为25帧/s,分辨率为320×240像素,图像为avi格式。用该系统测试50组各种环境下的报警情况,它能准确对违规目标进行报警,并且运算速度快、精度高。在目标衣服颜色与被背景颜色相近、相差15个灰度级以上的情况下,可以实现准确、实时的报警。图4为报警系统记录的具有代表性的报警图像,实验数据如表1所示。
本装置能够对与背景颜色相近的目标进行识别。在外加灯光下,由于目标检测存在的阴影比较小,所以识别率比自然光照下要高。它能够适应监测区域光照、阴影的动态变化,对交易人员的违规行为进行实时监测报警。
参考文献
[1] SAA7113H.pdf.http://www.omnivision.com.
[2] TMS320VC5509A.pdf.http://www.ti.com.
[3] Texas Instruments Incorporated.TMS320VC55x系列DSP的CPU与外设[M].彭启琮,武乐琴,张舰,等编译.北京:清华大学出版社,2005.
[4] 周西汉,刘勃,周荷勤.一种基于奔腾SIMD指令的快速背景提取方法[J].计算机工程与应用,2004,40(27):81-84.
[5] 刘勃,周荷琴.一种基于颜色和运动信息的夜间交通检测方法[J].中国图像图形学报,2005,12(2):187-191.
[6] POSIN P L,ELLIS T.Image difference threshold strategies and shadow diction[M].Birmingham:BMVA Press,1995:347-356.
[7] CUCCHIARA R,GRANA C,PICCARDI M,et al.Improve shadows suppression in moving object detection with HSV color information[A].Proceedings of IEEE Intelligent Transportation Systems Conference[C],Oakland,CA,USA,2001:334-339.