0 引言

    在现有的目标识别^[1]、目标分类^[2]、三维重建^[3]等实际应用中，提取到的特征点匹配数量越多，识别精度越高，分类则会越精细。

    尺度不变模拟^[4-5]、基于仿射变换的SURF描述符^[6]、仿射不变模拟^[7-8]及二值图像代替灰度图像^[9]等现有提升特征数量的方法虽然提升了特征点数量，然而在进行匹配的过程中，由于直接去掉了很多一对多、多对一的特征点，从而导致获得到的匹配点对少了很多，而这些被去掉的特征点中有很多是可以得到正确匹配的。本文方法在ASIFT算法特征匹配的基础上，通过在已经正确匹配的特征点对的周围限定邻域内寻找特征点进行匹配，达到增加正确匹配的特征点、提升正确匹配点数量的目标。

1 算法模型与方法

    在正确匹配的特征点对的周围限定邻域内寻找特征点进行匹配的过程如下：

    (1)设ASIFT算法在参考图像I₁与测试图像I₂中提取到的特征点集合分别为S₁、S₂，ASIFT算法得到的匹配点集合为MS，S₁、S₂中未匹配的点为US₁、US₂。

    (2)在MS中随机选取一个未计算过的匹配点对设为P₁(x₁，y₁)、P₂(x₂，y₂)，设点P₁、P₂所在的模拟图像分别为I_p1、I_p2。分别求出US₁、US₂中未匹配上的特征点在图像I_p1、I_p2上的坐标，分别记这些坐标集合为S_sim1、S_sim2。

    (3)分别在S_sim1、S_sim2中查找在点(x₁，y₁)、(x₂，y₂)的限定区域内的点，当选取的两个点同时满足条件时分别保存在集合S₃和S₄中。

    (4)若集合S₃中的所有点都已经计算过，则跳至步骤(5)；否则在集合S₃中随机选取未计算过得一个点，同时在集合S₄中选取与该点距离最近与次近的点，若与最近点的距离和与次近点的小于给定阈值，则该点与最近距离的点匹配，将匹配的特征点对加入集合NS中，将US₁、US₂中对应的点标记为已匹配。

    (5)若MS中所有的点对都已经计算过，则将集合NS中的点加入MS中并结束，否则跳至步骤(2)。

    下面对步骤(2)、步骤(3)和步骤(4)分别进行详细介绍。

1.1 将特征点坐标映射到对应的模拟图像上

    设图像I₁当前某一模拟图像为I，由于在ASIFT中求得的特征点的坐标都是I₁上的坐标(需要在I₁上画出匹配的特征点对)，因此需要将I₁上的坐标映射到模拟图像I上。

    由ASIFT算法中从图像I₁到图像I的变换，可以得出图像I₁坐标(x，y)到模拟图像上的坐标(x₁，y₁)之间的对应关系为：

其中，w与h分别为图像I₁的宽度与高度。

    根据式(1)和式(2)，在MS中随机选取一个未计算过的匹配点对设为P₁(x₁，y₁)、P₂(x₂，y₂)，设点P₁、P₂所在的模拟图像分别I_p1、Ip2，就可以求出US₁、US₂中未匹配上的特征点在图像I_p1、I_p2上的坐标，分别记这些坐标集合为S_sim1、S_sim2。

1.2 在未匹配的特征点中查找符合匹配点对的限定区域内的点

    在S_sim1、S_sim2中查找在点P₁(x₁，y₁)、P₂(x₂，y₂)的限定区域内的点，限定区域范围为计算特征点描述符的像素区域。当S_sim1、S_sim2中选取的两个点同时满足条件时，将这两个点记录下来，分别保存在集合S₃和S₄中。限定区域用如下式表示：

其中，(x₃，y₃)、(x₄、y₄)分别为集合S_sim1、S_sim2中未匹配的点在图像I_p1、I_p2上的坐标，r₁、r₂分别为点P1(x₁，y₁)、P₂(x₂，y₂)在图像I_p1、I_p2上计算描述符像素区域的半径。

1.3 计算符合限定区域内的特征点是否为匹配点

    从集合S₃中随机取出未计算过的点设为Q₁，从集合S₄中找出与点Q₁最近与次近的两个点，设为Q₂、Q₃。若Q₂与Q₁间的距离d₁以及Q₃与Q₁间的距离d₂的比值小于给定阈值t，则认为Q1与Q2匹配。计算公式为：

其中：

其中，(l₁，l₂，…，l_h)表示点Q1的描述符，(m₁，m2，…，mh)表示点Q₂的描述符，(n₁，n₂，…，n_h)表示点Q₃的描述符，h表示描述符的维数，t此处取0.36。

    将匹配的特征点对加入集合NS中，将US₁、US₂中对应的点标记为已匹配。这样就把空间约束与局部描述符结合起来了。

2 实验

    本节主要是通过实验分析本文算法的性能，并将结果与ASIFT算法结果进行比较。通过使用相同的图像集，利用本文算法与ASIFT算法来处理图像集得到匹配实验结果。在比较两个算法的性能时，会用到两种算法的匹配结果图像以及匹配正确点对数目来进行对比分析。

2.1 绝对倾斜测试

    图1显示了绝对倾斜测试实验的设置。在图2中的油画在拍摄时焦距缩放改变在×1～×10间，拍摄时视角的改变范围在为0°（正面）～80°。很显然，超过80°，在正面图像与最边上的图像之间建立对应关系是非常复杂的。在一个反射表面存在一个如此大的视角改变范围，倾斜视图中的图像在正面视图中会完全不同。

    表1给出了在不同的绝对倾斜角下，两个算法匹配的正确点对数。其中表1中相机的焦距缩放为×1，表1中的图像在拍摄时相机的拍摄角度θ均在45°～80°之间，其中倾斜度t=1/cosθ，图像的尺寸大小均为400×300，表中的正确匹配点对数量都是经过RANSAC^[10-11]算法处理得到的。图3给出了两个算法使用部分图像经过RANSAC算法处理得到的匹配结果，两幅用来匹配的图像是相机在正面拍摄图2以及65°拍摄角度拍摄图2，相机焦距缩放均为×1。由表1以及图3中可以看出，在相同的条件下，本文算法比ASIFT算法得到的正确匹配点对数较多。

    再来比较一下相机与物体之间的距离放大10 倍的结果。表2中的图像在拍摄时相机的拍摄角度均在45°～80°之间，相机的焦距缩放为×10，使用图2两个算法匹配得到正确点对数，其中图像的尺寸大小均为400×300，表中的正确匹配点对数量都是经过RANSAC算法处理得到的。图4给出了两个算法使用部分图像经过RANSAC算法处理后得到的匹配结果，两幅用来匹配的图像是相机在正面拍摄图2以及45°拍摄角度拍摄图2，相机焦距缩放均为×10。由表2以及图4可以看出，仍然能够得到类似表1以及图3中给出的结论。

    上述的实验结果表明在相同的条件下，不管相机的焦距缩放范围在×1～×10内以及纬度角（绝对倾斜）在0°～80°范围内如何变化，本文算法都能得到比ASIFT算法多很多的正确匹配点对。

2.2 相对倾斜测试

    图5显示了相对倾斜测试实验的设置。对于图6中的杂志分别设置相机使用一个固定的纬度角θ，对应t=2和t=4，经度角φ的变化范围为0°~90°。相机的焦距和光轴缩放是×4。在每个设置中用作实验的图像都有相同的绝对倾斜度t=2或者t=4，对应的相对倾斜τ（相对于图像在φ=0°）的范围为1~t²=4或者16，而φ的范围为0°~90°。

    表3显示了用来匹配的两幅图像绝对倾斜度为t₁=2，t₂=2，φ₁=0°，φ和相对倾斜τ的取值为表中的第一列时的对比结果。其中所使用的实验图像的大小均为400×300，表中的正确匹配点对数量都是经过RANSAC算法处理得到的。

    表4显示了在待匹配的两幅图像绝对倾斜度t₁=4，t₂=4，φ₁=0°，φ和相对倾斜τ的值取表中的第一列时的对比结果。其中所使用的实验图像的大小均为400×300，表中的正确匹配点对数量都是经过RANSAC算法处理得到的。

    图7给出了两个算法使用部分图像得到的匹配结果，两幅用来匹配的图像是在t₁=2，t₂=2，φ₁=0°，φ₂=40°(τ=2.5)条件下得到的，正确匹配点对数是经过RANSAC算法处理后得到的结果。

3 结论

    本文主要研究基于局部限定搜索区域的特征匹配算法，介绍了研究方向现状，针对经典算法ASIFT在特征匹配阶段直接去除一对多、多对一的特征点的缺陷做出了改进，提出局部限定搜索区域的特征匹配算法。在实验阶段本文利用大量的实验详细地对比了本文算法与ASIFT算法,结果显示本文算法得到的匹配点对比ASIFT算法增加大约0.85倍左右。

    由于本文算法是在ASIFT算法得到的匹配结果上得到的，算法的匹配时间要比ASIFT算法较长一些，接下来工作的重点是在保证得到大量的正确匹配点对数量的情况下，使算法的效率能够大大提高。

参考文献

[1] He Kaiming，Zhang Xiangyu，Ren Shanqing，et al.Deep residual learning for image recognition[C].2016 IEEE Conference on CVPR，2016.

[2] ZENG X，OUYANG W，WANG M，et al.Deep learning of scene-specific classifier for pedestrian detection[M].Computer Vision-ECCV 2014.Springer International Publishing，2014：472-487.

[3] VERGAUWEN M，GOOL L V.Web-based 3D reconstruction service[J].Machine Vision & Applications，2006，17(6)：411-426.

[4] SE S，LOWE D，LITTLE J.Vision-based mobile robot localization and mapping using scale-invariant features[C].IEEE International Conference on Robotics and Automation，2001.Proceedings.IEEE，2001，2：2051-2058.

[5] LOWE D G.Object recognition from local scale-invariant features[C].The Proceedings of the Seventh IEEE International Conference on Computer Vision.IEEE，2002：1150.

[6] 刘欣，李校林，谢灿，等.一种基于仿射变换的SURF图像配准算法[J].电子技术应用，2014，40(6)：130-132.

[7] CUI C，NGAN K N.Global propagation of affine invariant features for robust matching[J].IEEE Transactions on Image Processing，2013，22(7)：2876-2888.

[8] TUYTELAARS T，GOOL L V.Matching widely separated views based on affine invariant regions[J].International Journal of Computer Vision，2004，59(1)：61-85.

[9] 彭兴璇，唐雪娇，董星.基于改进SIFT算法在图像匹配中的研究[J].微型机与应用，2015，34(20)：36-38.

[10] LUO J，GWUN O.A comparison of SIFT，PCA-SIFT and SURF[J].International Journal of Image Processing，2009，3(4)：143-152.

[11] FISCHLER M A，BOLLES R C.Random sample consensus；a paradigm for model fitting with applications to image analysis and automated cartography[M].ACM，1981.

作者信息:

张振宁，李  征，郑俊伟

（四川大学 计算机学院，四川 成都610065）