《电子技术应用》
您所在的位置:首页 > 其他 > 设计应用 > 基于二维图像三维重建的人脸特征提取技术研究
基于二维图像三维重建的人脸特征提取技术研究
来源:微型机与应用2011年第10期
张东波, 朱经纬
(湘潭大学 信息工程学院, 411105, 湖南 湘潭)
摘要: 采用基于二维图像的三维重建对人脸特征进行提取。首先应用平行双目视觉原理获取人脸的二维图像,然后对图像进行预处理,消除图像上的噪音点,增强图像,以便提取特征点,对这些二维图像上的特征点进行优化计算,最后得到整体人脸的三维特征点信息。
Abstract:
Key words :

摘  要: 采用基于二维图像的三维重建对人脸特征进行提取。首先应用平行双目视觉原理获取人脸的二维图像,然后对图像进行预处理,消除图像上的噪音点,增强图像,以便提取特征点,对这些二维图像上的特征点进行优化计算,最后得到整体人脸的三维特征点信息。
关键词: 双目视觉; 人脸特征点; 三维重建

    身份识别与验证是人类社会日常生活的基本活动之一,而作为生物特征识别技术的人脸识别具有巨大的潜在应用前景。但是,由于人脸检测问题的复杂性,人脸识别一般只针对人脸2D图像检测领域内某个或某些特定的问题,而利用三维数据进行人脸识别,可以避免姿态、光照、表情等因素的影响,解决二维人脸识别所无法解决的问题,弥补二维人脸识别方法的不足。
    获取脸部的三维数据形成特定三维人脸模型是三维人脸识别的基础,目前主要有两种方法:
    (1)基于激光扫描的三维数据获取方法。激光扫描装置获取的数据精度高、速度快,可精确获取物体空间细节,但是对计算机和处理设备的性能要求较高,价格昂贵。另外,激光束有可能会对人体产生一定的伤害。因此,该方法不宜应用到人脸识别领域。
    (2)基于二维图像的三维数据获取技术。它是利用普通摄像机获取的两幅或多幅图像来合成三维信息。这种方法硬件设备比较普通,但是要求处理算法有足够高的鲁棒性和实用性。现有的成果尚不成熟,多处于理论研究的探索阶段,还没有达到广泛应用的水平。
1 平行双目视觉原理
    双目立体视觉基于视差原理, 图1所示为一种理想的平行双目立体视觉模型,它由两个完全相同的摄像机构成,摄像机焦距为f,两个图像平面位于一个平面上,两个摄像机的光轴相互平行,且x轴重合,摄像机之间在x轴方向上的间距为基线距离B。空间特征点P分别在左、右摄像机上获得了投影图像,坐标分别为P1(X1,Y1,Z1)、P1(X2,Y2,Z2)。设置两个摄像机在同一平面上,那么坐标P1(X1,Y1,Z1)、P1(X2,Y2,Z2)中Y1=Y2,Z1=Z2。根据相似三角形原理,可得:

    由式(1)可得特征点P在摄像机坐标系下的三维坐标,其中f是相机的焦距。该方法基于双目视觉原理,理论上可以得到人脸任意位置的3D图像信息,但是由于图像分辨率等原因,很难用这种方法从2D图像中获取准确的3D信息。如果对人脸进行多角度的2D图像获取,则对于人脸上同一点,由式(1)计算出的位置信息就会有多个。由于种种原因(图像拍摄时的光照变化、人脸的角度不同、图像传输中的噪音等),这些冗余的位置信息对于同一个空间点的位置肯定存在差异。
    如图2所示,鼻尖点的位置在侧脸图中很容易区分,而在正脸图中区分就比较困难。在侧脸图中,人面部的颜色与背景颜色区别很大,反映在图像的灰度值上,其灰度值的级别相差较大。而在正脸图像中,鼻尖点只是面部的一个点,它的颜色与周围的面部点颜色差别不大,甚至由于光照的因素,鼻尖点上面的位置点处颜色更亮一些。


    所以,在三维情况下,脸部的各个特征位置,对于某一特定观测角度,有最佳的观测效果。而这个特定的观测角度主要考虑两点:脸部的几何结构特征较突出以及有比较强烈的颜色对比度。例如,观测鼻尖点的位置的最佳角度是侧脸的位置,这是因为鼻子轮廓和背景颜色差别较大,容易选取;人脸部轮廓在正脸时就比较清楚,而在侧脸时就不容易选取。
    首先明确人脸有哪些特征部位,人脸图像中比较明显的特征位置像鼻尖点、眉毛内外侧点、内外眼角点、鼻翼点、鼻下点、嘴角点、下巴点、脸部轮廓点等,如图3所示。
    不同的观测角度,对同一点都会有选取,例如下巴最低点在正面图与侧面图中都可以选取,但是很明显侧面图的该点选取较为容易。如果以双目3D视觉为基础,采用一对相机照射人脸正面,而用另外一对相机照射人脸侧面,这样就会有两组人脸面部特征点的3D坐标值。那么一些点的选取采用正面照的3D坐标就会比较接近实际值(例如脸部轮廓点、内卫眼角点、鼻翼点、嘴角点、眉毛的内外侧点等);而另一些点的坐标值采取侧面照得到的坐标值就会比较准确(例如鼻尖点、鼻下点、下巴最低点、嘴唇的上下点)。
    选取的特征点越多,对于建立人脸的3D模型就会越丰富。同时,如果增加照射人脸的相机数目越多,获得同一特征点的3D坐标信息就越多,对这些坐标进行优化计算,就会越接近实际值。
2 人脸特征点提取
    积分投影法是根据图像在某些方向上的投影分布特征来进行检测的,这种方法在本质上是一种统计方法,主要有水平投影和垂直投影:

    在式(2)中,(x,y)表示图片像素所处的位置,I(x,y)表示该像素的灰度值,n表示一行所有的像素点数,可见水平投影就是将一行所有的像素点的灰度值进行累加后再显示。式(3)中,(x,y)表示像素所处的位置,I(x,y)表示该像素的灰度值,m表示一行所有的像素点数,可见垂直投影就是将一行所有的像素点的灰度值进行累加。通过这种方法,可以将目标与背景区分,并且可以找到特征点的大致一个矩形区域。特征点还可以通过对图像各个像素点灰度值的一阶与二阶微分处理来取得。特征点像素的灰度值与相邻像素点的灰度值差别较大时,I(x,y)的一阶与二阶的梯度、微分拉普拉斯算子的值较大,取其变化较为明显的点即为特征点。

    综合运用积分法与一阶、二阶微分法,可以得到人脸的特征点的位置信息。先对图像直方图做均衡化处理,使整个图像对比度增强,图像清晰;再对图像进行二阶微分,即为高斯型拉普拉斯算子(Laplacian of a Gaussian)处理得到的图像边缘,如图4所示。可以看出面部有许多噪音点,为了更加精确地提出特征点的位置信息,对图像进行滤波处理。

    对图片在频域内进行处理,图像中的噪音点属于高频信号,所以采用低通滤波在傅氏平面内把这些高频信号滤除,并对图像进行增强,如图5所示。


3 实验结果
    实验采用两个数码相机,按照双目视觉的原理,两个相机光轴平行放置,用于采集人的脸部图像。为了拍摄人脸的不同角度,采用一个棋盘网格图面作为拍摄参考,对不同角度下的特征点进行归一化处理。实验采取了5组人脸在不同角度的图像,5组图像又分为上下两个,分别是两个CCD相机对同一目标同时拍摄的图像,如图6所示。从图6可以看出上下两个图像稍有差异。

    图7是对图像进行处理后,通过平行目视觉原理得到的人脸面部特征点。

    根据实际的人脸的特征信息(例如两内眼角间的距离,两嘴角间的距离),对获取到的实验点的三维位置坐标数据进行判断,可知双目视觉原理获得的实验数据基本符合实际值,这些特征值可以作为三维人脸识别技术的依据(三维形变模型等)。
参考文献
[1] 张翠平,苏光大.人脸识别技术综述[J].中国图象图形学报,2002,7(11):7-16.
[2] 张欣,徐彦君,杜利民.彩色图像中主要人脸特征位置的全自动标定[J].中国图象图形学报,2000,5(2):52-57.
[3] 周杰,卢春雨,张长永,等.人脸自动识别方法综述[J].电子学报,2000(4):102-106.
[4] ZHAO W. Robust image based 3D face recongnition[D]. University of Maryland, College Park, 1999.
[5] 山世光,高文,陈熙霖.基于纹理分布和变形模板的面部特征提取[J].软件学报, 2001,12(4):570-577.
[6] 焦峰,山世光,崔国勤,等.基于局部特征分析的人脸识别方法[J].计算机辅助设计与图形学学报,2003,15(1):53-58.

此内容为AET网站原创,未经授权禁止转载。