文献标识码: A
文章编号: 0258-7998(2013)01-0072-04
基于动作传感器的人机交互不受光线遮挡和角度限制,测量单元易于嵌入片上系统,并且更接近于自然交互方式,基于动作传感器的人机交互已成为当前该领域的研究热点[1-2]。业界对基于加速度传感器的动作识别方法开展了大量的研究,基于隐马尔可夫模型[3]、模糊神经网络[4]、模版匹配[2,5]等识别方法被广为关注和研究。但因这些识别方法的算法复杂度偏高,手势识别的动态实时性和识别率不理想,这些方法难以满足手势在线识别的要求。
本文提出一种基于区间分布概率矩阵模型的在线快速手势识别方法,其主要优点是:(1)把大量工作转移到模型建立和模型优化上面,而这些工作完全可以在PC机上完成。(2)在线识别系统中没有大量复杂计算公式、递归运算和模版库的存储,极大地提高了动态实时性;(3)识别率高,实用性强。通过对日常生活中常做的12种单笔画手势[6]动作的在线识别,验证了该识别方法具有很高的人机交互实时性和较强的实用性。
1 手势识别系统整体架构
手势识别系统流程如图1所示,首先利用样本数据在PC机上建立和优化区间分布概率矩阵模型。利用戴在手指上的可穿戴数据采集和发送模块采集手势动作的三维加速度信号,由接收、处理和识别模块对信号进行预处理、提取和检测X、Y和Z轴的观测点数据、输出观测序列,然后利用建立好的区间分布概率矩阵模型进行手势识别,显示识别结果。
2 信号预处理
2.1 动作数据自动检测和归一化处理
通常用户完成一个动态的手势动作会经历三个阶段:开始阶段、动作阶段和停止阶段。利用此特点可在连续的加速度数据流中检测出手势识别过程所需要的动作阶段加速度数据流。
本文设计了一个可通过设置门限阈值自动检测手势动作阶段加速度数据流的滑动窗口。在手势的开始和停止阶段,加速度数据流可用常量表示。在手势的动作阶段,加速度数据流会产生明显的变化。设A(t)=[ax(t), ay(t),az(t)]为t时刻采集的三轴加速度数值。Threshold为设置的门限阈值。将A(t)和前n个采样点逐个进行比较, 若‖A(t)-A(t-n)‖≥threshold,则可判断t时刻的采样点A(t)为动作阶段的数据点,这样即可检测包含运动信息的动作阶段的数据点。
在实际数据检测中,设置2个阈值(开始阈值和结束阈值),较大的开始阈值有利于滤除噪声数据,较小的结束阈值可以确保动作阶段数据传输的完整性[7]。
由于人的手势动作幅度不固定,尤其是不同人做同一个手势动作时,加速度数据幅度相差比较大,所以必须对采集的手势动作加速度数据进行归一化处理,以降低手势动作加速度数据幅度变化差异对识别结果的影响,从而可以降低识别难度,提高识别精度。本文采用的是线性函数转换法,yi=(xi-MinValue)/(MaxValue-MinValue)其中xi、yi分别为样本中第i个点处转换前、后的值,MaxValue、MinValue分别为样本中的最大值和最小值。
2.2 插值法归整数据采样频率
由于不同人完成同一种手势动作的快慢不同,而且同一个人完成同一种手势动作的快慢也不尽相同,而系统的采样频率是固定的,相同的手势动作如果完成快,则采集的数据点较少;反之,如果完成速度慢,则采集的数据点较多。这样就增加了识别难度,但是,对于同一种手势动作,无论采集到的数据点多少,它的整体变化规律是相似的。为了简化识别过程,降低识别难度,本文通过插值法把一个完整手势动作数据点扩充到同一长度来消除人为速度干扰因素对识别率的影响。
本文采用三次样条插值法[8](简称spline插值)对手势动作数据点进行扩充。三次插值法既保留了分段低次插值多项式的简单、稳定和收敛等优点,又提高了插值函数的光滑性,从而不会造成原始数据失真。插值效果如图2所示。
3 PC机建立区间分布概率矩阵初始模型
3.1特征区间提取
3.1.1观测点的选择
在经过本文上述数据预处理之后,所有手势动作加速度数据长度标准化为H0=50。本文选择加速度值作为特征量,所以需要确定一些特定的观测点(即需要确定一些特定的采样点)来提取不同手势的加速度信息。在选择观测点时,尽量做到在同一个观测点处,相同手势动作的加速度数值变化幅度较小。以X轴为例,根据手势在X轴上加速度数据的特征分布,选取K个观测点:O1,O2,…,Ok。
3.1.2 特征区间的定义
设有M个手势,共N个样本(每种手势有N/M个样本),那么在观测点Ok处,由N/M个观测值构成每个手势的分布区间?赘。统计M个手势的区间的分布情况后,确定M个手势的观测值的分布区间?孜,将?孜划分成S个子区间(左闭右开型):R1,R2,…,Rs。子区间就称为M个手势在观测点Ok处的特征区间。
3.1.3 提取特征区间
以本文的12种手势为例,阐述提取过程。随机为每个手势选取了10个样本,在X轴上观测点O1=10处,12种手势的观测值分布如图3所示。根据这个分布统计出加速度最大值和最小值,就可以知道此时所有样本观测值的集中分布的范围。然后再把这个分布区间范围等间隔分为了5个子区间(即特征区间),则12种手势的所有样本(120个)在观测点处的加速度值都会落入这些子区间:R1,R2,R3,R4,R5。
3.1.4 区间分布概率矩阵及模型的定义
同一种手势的不同样本,在同一个观测点处的观测值可能会落入不同的特征区间。以图3为例,在观测点O1=10处,手势11的10个样本观测值落入了R2,R3,R4 3个特征区间,但是有的区间落入的观测值多(如R2,7个),有的区间落入的观测值少(如R4,1个),从统计学的角度讲,手势11的10个样本在观测点处的观测值落入R2,R3,R4 3个特征区间的概率不同。不同的手势在观测点O1=10处又有不同的情况。能够表示不同手势和不同样本在同一个观测点处的观测值落入不同特征区间的概率分布情况(下文有详细建立过程)的矩阵称之为区间分布概率矩阵。在X、Y和Z轴上的所有观测点处的区间分布概率矩阵构成了本文手势识别方法的区间分布概率矩阵模型。
(3)用以上步骤分别为X、Y和Z轴上各观测点建立区间分布概率矩阵,这些矩阵构成了区间分布概率矩阵初始模型(在X、Y和Z轴上选取的观测点可以不一样)。
3.3 模型优化
为了提高识别率,还需要对各观测点对应的区间分布概率矩阵进行优化训练。在区间分布概率矩阵初始模型已有的N个样本中继续添加新的训练样本。每添加一个新的训练样本,在各观测点处就会生成一个新的区间分布概率矩阵。例如,在X轴上第k个观测点处会生成一个新的区间分布概率矩阵Ak1[i,j]。随着训练样本的添加,各观测点处的区间分布概率矩阵会趋于一个常数矩阵,这时达到了最优模型,此时的区间分布概率矩阵模型可以用到手势的在线识别中。
4 在线识别
在线识别过程如下:
(1) 信号预处理和检测各观测点处对应的特征区间。以X轴为例,当某一手势数据输入时,首先经过信号预处理,然后检测X轴上各观测点处观测值对应的特征区间,输出观测序列O={O1,O2,…,Ok}。例如,在第一个观测点处观测值对应的特征区间为R2,则O1=R2。
(3) 将以上识别过程在X、Y、Z轴上分别实现。
5 实验结果与评价
为了使传感器与测量点之间尽可能地相对稳定,避免因手势的变化引起传感器偏离原始测量位置,使识别结果产生较大误差,本系统中,把数据采集和发送模块做成了一个小巧的戒指,通过无线的方式将采集到的数据实时地发送给微处理器进行处理和识别。实验时,将戒指模块戴到左手或右手食指的第二节,这样,MMA7361L加速度传感器相对于手指的位置是固定的。
实验中选用了30名志愿者,每个志愿者在自己习惯和放松的状态下,以正常的速度匀速执行预定义的12种手势,每种手势重复做10次,实验中随机选取了5次动作进行训练优化模型,其余的5次动作进行测试,共采集了3 600组样本数据。
实验结果如表2所示。平均识别率为97.94%,手腕向下、手腕向上和右旋转的识别率最高为100%,手腕向右的识别率最低为94.7%。为了更好地说明本文的识别方法在识别率和实时效果上比其他算法更具有优势,实验中同时用HMM和DTW算法对这12中手势进行了识别,平均识别率分别为79.08%和85.2%,并且延时比较明显。基于本文识别方法对手势动作的整体识别率较高,实施效果好,说明本文的识别方法能有效实时地完成人机动态交互。
本文通过对加速度传感器MMA7361L采集到的手势动作加速度数据的分析,经过动作数据自动检测、归一化和三次样条插值预处理,最后根据完成相同手势动作得到的三维加速度数据变化规律的相似性,提出一种基于区间分布概率矩阵模型的动态手势识别方法,简化了传统算法识别过程的复杂度,成功地降低了手势识别难度,从而提高了基于加速度传感器手势识别的人机交互实时性,在一定程度上解决了动态实时性与识别率的相互矛盾性。
参考文献
[1] 荆雷,马文君,常丹华.基于动态时间规整的手势加速度信号识别[J].传感技术学报,2012,25(1):72-76.
[2] 杨先军,王昌喜,潘磊,等.基于三维加速度信息的上肢动作质量评价的研究[J].传感技术学报,2010,23(12):1709-1712.
[3] CARIDAKIS G, KARPOUZIS K. SOM: self organizing markov map for gesture recognition[J]. Pattern recognition letters, 2010,31(1):52-59.
[4] CHOWHAN S S, KULKARNI U V, SHINDE G N, et al. Iris recognition using modified fuzzy hypersphere neural network with different distance measures[J]. International Journal of Advanced Computer Sciences and Applications, 2011,2(6):130-134.
[5] ZHANG S Q,YUAN C, et al. Self-defined gesture recognition on keyless handheld devices using MEMS 3D acce lerometer[C].In Proceedings of International Conference on Natural Computation. IEEE. 2008(4):237-241.
[6] JING L, ZHOU Y, et al. A recognition method for onestroke finger gestures using a MEMS 3D accelerometer[C]. IEICE Tran on Information, 2011,E94-D(5):1062-1072.
[7] 刘蓉,刘明. 基于三轴加速度传感器的手势识别[J].计算机工程,2012,37(24):141-143.
[8] 刘为,高尚. 一种新条件下的三次样条插值[J]. 信息技术,2011(8):23-28.