文献标识码: A
DOI:10.16157/j.issn.0258-7998.165978
中文引用格式: 刘芳辉,郭慧,张培,等. 基于基元自相关图和结构元直方图的图像检索[J].电子技术应用,2017,43(8):115-118.
英文引用格式: Liu Fanghui,Guo Hui,Zhang Pei,et al. Image retrieval based on texton autocorrelograms and structure element histogram[J].Application of Electronic Technique,2017,43(8):115-118.
0 引言
随着科学技术的迅速发展,基于内容的图像检索技术[1]在诸多领域中的应用变得越来越广泛。但是图像数据库中的图像也大幅度增加,且内容也愈加丰富多彩,这对于如何在大数据库中实现快速准确的检索无疑带来了一定的困难,且由于单一特征本身的局限性,这就使得基于单一的检索系统精度不高,因而基于多特征融合的检索方法已成为当前主要研究的方向。
当前描述图像内容的主要索引特征是颜色、纹理、形状和空间关系[2-4]。其中颜色和纹理特征是应用最为广泛的两个特征,在颜色特征方面,主要方法有颜色直方图、颜色矩、颜色集法等[5]。其中颜色直方图[6]在描述图像整体特征时运用较广泛,但其缺乏颜色空间信息的描述,导致检索精度不高。针对这个问题,文献[7]提出以颜色相关图为特征的图像检索方法来描述颜色的空间信息,但是计算量大且空间相关性较弱。为此,文献[8]在基元的基础上提出基元自相关图的检索方法,但颜色空间相关性有待提高,且颜色索引误差大、抗噪性差。为此,本文采用一种改进的基元来描述颜色空间信息,以克服上述存在的问题。
在纹理特征方面,文献[9]提出一种基于结构量化的图像检索方法,文献[10]提出一种基于结构元的图像检索方法,该方法很好地描述图像的纹理特征,且在一定程度上也表达了颜色和纹理特征之间的相关性。故在此基础上,本文采用一种改进的结构元,使其在提取纹理特征时结构的内在连续性和空间表达性更强。
1 颜色空间的选取与量化
根据人眼视觉特征先将图像从RGB颜色模型经过非线性变换[11]成HSV模型,并将其非等间距量化为63种颜色,其中色调H分为7份,饱和度S分为3份,亮度V分为3份。将其合成一维特征矢量L,即:L=QSQVH+QVS+V,其中QS和QV都取3,故L=9H+3S+V,且L的取值范围是[0,1,2,…,62]。
2 颜色代表值的确定
本文采用3×3单元格将大小为M×N的图像均匀划分成(M/3)×(N/3)个子块,其中每个子块含有9个像素。为了降低计算复杂度和增强算法的抗噪性,本文利用(μ+σ,μ-σ)作为阈值的上下界进行比较,其中μ和σ的计算公式如式(1)和(2)所示,若子块内像素颜色值大小在阈值范围内,则赋值为1;反之,赋值为0,最后统计该子块中非零的个数,作为该子块的颜色代表值。
其中,c(i,j)是像素点(i,j)的颜色值。
该方法的抗噪性更强,它可以解决颜色代表值受噪声影响的问题,具体如图1所示。
3 基元自相关图
基元的类型有很多,但通常将具有相同颜色值的两个像素点构成一种基元,正如文献[8]中提出的4种基元一样,如图2所示。但是该4种基元在表达颜色空间信息时空间相关性不强,对此本文进行改进并提出一种内在连续性和颜色空间相关性更强的基元,分别如图3所示5种基元,图中阴影表示这些像素的颜色代表值相等,且含有不同阴影的基元各代表不同的类型。
从左上角开始,以2个子块包含的像素为步长,从左至右、从上到下移动大小为3×3的基元,并检测基元出现的类型。其中经基元检测后只能保持基元像素的颜色代表值不变,而其他像素颜色代表值都置为0。待检测结束后,按如下规则进行组合:(1)若5个基元分量图像中对应位置的像素颜色代表值非零且都相等,则组合后仍为原值;(2)若其对应位置的像素颜色代表值分别为非零值和零值,则组合后为原非零值。
若其中一个颜色代表值为c的子块A出现的概率为P(A),如果任意一个与子块A相邻的子块B,它的颜色代表值也为c,则由概率条件可得式(3),其中P(B|A)表达了基元图像的颜色空间特征,即基元自相关图。
4 结构元直方图
纹理特征也是表达图像信息的一种重要方法,在文献[10]提出一种结构元直方图的方法。其中含有5种结构元,具体如图4所示。为了更好地表达纹理特征的内在关联性和适应性,本文提出一种内在连续性更强的结构元,如图5所示。
从左上角开始,以2个子块包含的像素为步长,从左至右、从上到下移动大小为3×3的结构元,检测出基于每一种颜色代表值下的结构元类型。当用本文的结构元描述子检测时可得到10张结构元描绘子图,并将其量化为结构元直方图。
设|T1,i|,|T2,i|,|T3,i|,|T4,i|和|T5,i|分别表示为在第i层中统计得到的结构元类型的个数,为了避免受图像发生缩放而导致尺寸大小不同的影响,本文采用如下公式对其进行归一化处理:
其中,tki为归一化后的值,k的值代表第k个结构元,且k∈(1,5);i的值代表子块的颜色代表值,且i∈(0,9)。
对于查询图像P的结构元直方图特征为P=(p0,p1,p2,…,p49),图像库Q中每幅图像的结构元直方图特征为Q=(q0,q1,q2,…,q49),这样相对于63维特征向量来说,简化了计算量,同时该基元具有更强的空间性,所以能保证检索的精度。本文采用式(6)来计算查询图像P和图像库Q中图像的相似度。
5 实验结果与分析
本文采用的图像数据库是由Corel-5000图像库中的6类图像构成,其中包含人物、海滩、建筑、公交、美食和花卉,每类未受噪声的图像各90幅,加噪后的图像每类10幅,总共600幅图像。
实验采用Windows XP操作系统,开发工具为Visual C++ 6.0。从每类图像中随机抽取10幅图像作为查询图像进行检索,总共进行60次查询,每次查询都选取前15幅最相似的图像作为实验的结果。利用查准率、平均排序比值作为实验性能的评价标准,对于每类图像而言,将其10次查询结果的查准率平均值作为该类图像检索结果的平均查准率;对于平均排序比值S的定义如下:设在查询后返回R幅图像中含有M幅相关图像、N幅实际相关图像,ρr为相关图像的排序号,则平均排序的计算公式如式(7),若S的值越接近1,则排序效果越好。
(1)实验1:本文首先应该统计w1和w2值的变化对本文算法检索效果的影响,从而确定最佳的加权值。表1统计了本文方法在不同权值下的图像检索平均查准率。
由表1可知,考虑到每类语义图像的平均查准率,故当w1=0.6、w2=0.4时,该方法的综合平均查准率最高。由于除了结构元直方图可以表达纹理信息外,基元自相关图在一定程度上描述了纹理信息,因此这也解释了w1的值要尽量比w2的值取大一些。此外,综合这两种特征对图像数据库中的图像进行检索,具体统计结果如表2所示。
(2)实验2:分别进行4组对比实验:①以颜色自相关图(CAC)为特征进行图像检索;②以文献[8]方法进行图像检索;③以文献[10]方法进行图像检索;④以本文方法进行图像检索。以海滩图像为关键图进行4组实验的检索结果分别如图6(a)~图6(d)所示。表3统计了4种检索方法对海滩图像经过10次检索后的结果,表4统计了4种检索方法对图像库中各种图像检索后的结果。表5统计了4种检索方法的平均查准率和平均排序比值S。
由表3可知,采用本文方法检索时的平均查准率最高,且平均排序比值S也最接近1,本文方法的总体效果最优。由表4和表5的数据统计结果可以看出,本文方法对相似图像的查准率和相似图像输出的排序值都有所提升,证明了本文方法的有效性。在表4中,由于海滩和建筑类图像颜色和纹理信息都比较复杂,因此海滩和建筑类图像在综合两者特征下检索的提升效果最好;同时由于花卉主要含较为单一的颜色信息,且纹理信息不复杂,因此对于花卉类图像来说,采用本文方法相较于颜色自相关图、文献[8]中方法来说,其提升效果没有其他组大,但总的来说,在本文方法检索下的查准率和相似图像输出的排序值都有所提升。在表5中,本文算法的检索效果要明显优于颜色自相关图、文献[8]、文献[10]。综上所述,本文算法有效地提高了图像的检索精度,改善了相关图像的排序值,并具有很好的抗噪性。
6 结论
本文首先将RGB图像非等间距的量化为63种颜色,同时为了简化计算和减小颜色索引误差,采用3×3单元格将图像进行不重叠分块,然后又提出了用子块颜色代表值代替颜色值的方法以增强算法的抗噪性,最后提取其基元自相关图和结构元直方图特征,并且综合这两个特征进行相似性度量。实验结果表明,本文方法有效地提高了检索精度,改善了相关图像的排序值,并具有较好的抗噪性。此外,对于如何将其他特征相结合起来,将是下一步研究的内容。
参考文献
[1] 蒋琳琼,戴青云.一种改进的基于内容的图像检索系统研究[J].软件导刊,2013,12(1):168-170.
[2] BAI C,ZOU W,KPALMA K,et al.Efficient color texture image retrieval by combination of color and texture features in wavelet domain[J].Electronics Letters,2012,48(23):1463-1465.
[3] 张永库,李云峰,孙劲光.基于多特征高效索引的图像检索[J].计算机工程与应用,2016,52(7):181-186.
[4] 孙君顶,郭启强,周雪梅.基于颜色和纹理特征的彩色图像检索[J].计算机工程与应用,2010,46(29):176-178.
[5] JYOTHI B,MADHAVEELATHA Y,MOHAN P G K,et al.Integrated multiple features for tumor image retrieval using classifier and feedback methods[J].Procedia Computer Science,2016,85(4):141-148.
[6] LEW M S,SEBE N,DJERABA C,et al.Content-based multi-media information retrieval:state of the art and challenges[J].ACM Transactions on Multimedia Computing,Communications,and Applications,2006,2(1):1-19.
[7] HUANG J,KUMAR S R,MITRA M,et al.Spatial color indexing and applications[C].Proc.of the 6th International Conference on Computer Vision.Bombay,India:IEEE Press,1998.
[8] 刘广海,王强.基于基元自相关图的图像检索[J].计算机科学,2009,27(3):166-169.
[9] 金莲芳,覃团发,王海霞.基于结构量化直方图的图像检索方法[J].中国图像图形学报,2006,11(2):180-185.
[10] Wang Xingyuan,Wang Zongyu.A novel method for image retrieval based on structure elements’ descriptor[J].Visual Communication and Image Representation,2013,24(1)63-74.
[11] OTA S,TAMURA M,FUJITA K.A hybird method for real-time animation of trees swaying in wind fields[J].The Visual Computer,2004,20(10):613-623.
作者信息:
刘芳辉,郭 慧,张 培,周邵萍
(华东理工大学 机械与动力工程学院,上海200237)