摘 要: 对近年来出现的点特征提取、特征描述符和特征匹配3方面的新思路和新方法进行了综述,并对各个算法的性能进行了分析,提出了实际应用中有待进一步研究的内容。通过深度测量的准确性对点特征提取及匹配算法进行了综合评估。
关键词: 双目视觉测量; 特征点提取; 特征匹配; 性能评估
双目视觉测量是三维重建、即时定位与地图构建(SLAM)、视觉导航和视觉里程计等系统的重要组成部分,测量的准确性直接影响着这些系统的性能。选取鲁棒、高效和准确的点特征提取及匹配算法是提高双目视觉测量准确性的有效途径。
鉴于点特征提取及匹配广泛的应用需求,国内外学者对其研究的脚步从未放缓,尤其最近10年间,该领域的研究非常活跃,提出了大量性能优越的算子,为人们的应用提供了更多选择。理想的点特征提取及匹配算子应具有定位准确、可区分性强、抗光照变化、匹配准确和速度快等特点,但这些特性往往存在互斥性,因此,在实际应用中需根据系统特点和需求选择合适的算子。
本文从关键点检测、特征描述符和描述符匹配3方面对点特征提取及匹配算法进行了综述。针对双目视觉测量系统的应用需求,分别对点特征提取及匹配算法的定位精度、检测数目和计算速度3个方面进行了性能比较。
1 点特征提取及匹配
点特征是图像最基本的特征,它是指灰度信号在二维方向上都有明显变化的点,如角点、原点、暗区域的亮点和亮区域的暗点等,它具有旋转不变性、尺度不变性和抗光照变化等优点。使用点特征进行图像处理,可大大减少参与计算的数据量,提高运算速度,同时又不损坏图像的重要灰度信息[1]。
点特征提取及匹配包括关键点检测、特征描述符生成和描述符匹配3部分。
1.1 关键点检测
确定点特征的位置,即关键点检测,目前已有的检测算法大致可以归为两大类:一类是基于模板的算法,另一类是基于几何特征的提取算法。
关键点检测的判定依据通常为梯度信息、灰度统计信息以及二者的结合。仅基于梯度信息进行关键点检测的算法有Moravec[2]、Harris[3]、Shi-Tomasi[4]和Forstner[5]等。其中,Harris、Shi-Tomasi和Forstner 3种算法均通过Hessian矩阵的特征值构建关键点响应函数,区别在于它们构建的响应函数不同。
2 实验结果与分析
本文对各阶段几种代表性的关键点特征提取算法进行了实验分析。算法评估的实验平台为装有OpenCV 2.4.3、VS 2010的PC。利用PointGrey公司生产的双目摄像Bumblebee2,共采集100幅640×480的图像,焦距为6 mm,横向视场角为43°,基线距离为0.12 m。分别选取不同的环境,采集深度范围为0.5 m~5 m的实验图像,部分实验图像如图1所示。
2.1 点特征提取算法性能比较
本文主要对Harris、Shi-Tomasi、SIFT、SUFT和ORB 5种算法的计算效率、旋转不变性、尺度不变性和鲁棒性等性能进行比较与分析。
图2直观地显示了各算法对同一幅图像进行关键点检测的结果。由图2可知,Harris和SIFT算法提取的关键点较少,SURF、Shi-Tomasi算法提取的相对较多,而ORB算法提取的最多。从分布上看,各算法检测出的关键点分布都较均匀,但ORB存在许多位置非常接近的关键点。
图3为改变图像旋转角度和尺度的情况下,平均一幅图像关键点检测数目的结果。从图3可知,改变图像的旋转角度,各算法的关键点检测数目在45°处呈现对称性。在0~20°和70°~90°之间,检测数目变化相对较大;在20°~65°之间稳定性较好。当尺度变化时,除SIFT算法的稳定性变化不大外,其余各算法都较敏感。当尺度逐渐增大时,Shi-Tomasi算法敏感性越来越强,主要在于Shi-Tomasi算法对边缘响应强烈。而ORB算法在尺度小于1时,敏感逐渐增强;尺度大于1时,敏感度明显减小。
表1为各关键点检测算法的平均检测时间和检测数目的结果。实验结果表明,ORB算法的检测速度最快,Harris、Shi-Tomasi和SUFT算法的检测速度次之,而SIFT算法检测时间最长。从检测数目来看,ORB算法提取的关键点数最多,Shi-Tomasi算法和SUFT算法的关键点检测数次之,Harris算法提取的关键点相对较少。
特征匹配算法比较结果如表3所示。其中,内点率为准确匹配点对占总匹配点对的比率,平均准确匹配数为误匹配去除后每帧图像(即左右图像)获取的准确匹配数,平均匹配时间为平均每对描述符完成匹配过程所需时间。实验结果表明,两种匹配方法的内点率基本一致,SURF+欧式距离的平均准确匹配数比ORB+海明距离更大,但其所需的匹配时间却大得多,在实时应用系统中,较难有效应用。
本文首先对目前性能较好的点特征提取算法的基本原理、属性、性能及优缺点进行了分析。理想的关键点特征提取算子应具有定位准确、检测数目多、计算速度快、鲁棒性强、可区分性大和不变性等优点。通过实验对各种点特征提取算法和匹配算法的性能进行分析与比较,对关键点特征提取算法的选择具有重大的理论研究和实践意义。
参考文献
[1] 黄艳.点特征提取算法探讨[J].现代商贸工业, 2009(12):302.
[2] MORAVEC H. Obstacle avoidance and navigation in the real world by a seeing robot rover[D]. Ph.D. dissertation, Stanford University, 1980.
[3] HARRIS C, PIKE J. 3D positional Integration from Image Sequences[C]. In Alvey Vision Conference, 1988.
[4] TOMASI C, SHI J. Good features to rrack[C]. CVPR’94, 1994:593-600.
[5] FORSTNER W. A feature based correspondence algorithm for image matching[J]. International Archives of Photogrammetry,1986(26):150-166.
[6] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[C]. ICCVII Proceedings of the 2011 International Conference on Computer vision, 2011:2564-2571.
[7] LOWE D. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision,2003(20):91-110.
[8] BAY H, TUYTELAARS T, GOOL L V. SURF:speeded up robust features[C]. ECCV, 2006:404-417.
[9] AGRAWAL M, KONOLIGE K, BLAS M. Censure: center surround extremas for real time feature detection and matching[C]. European Conference on Computer Vision, 2008.
[10] CALONDER M, LEPETIT V, STRECHA C, et al. Brief: binary robust independent elementary features[C]. European Conference on Computer Vision, 2010:1-14.