《电子技术应用》
您所在的位置:首页 > 显示光电 > 设计应用 > 基于视觉感知的图像显著区域的提取
基于视觉感知的图像显著区域的提取
2015年微型机与应用第2期
杨 雪
(沈阳理工大学 信息科学与工程学院,辽宁 沈阳 110159)
摘要: 基于Itti模型,提出了一种改进的模型来提取图像显著区域,采用Itti方法提取图像的亮度、朝向特征显著图,在此基础上,将图像的频域特征融入到图像的颜色特征提取中,并且加入图像的轮廊特征提取,避免了Itti模型提取特征时没有明显的轮廊边界的现象。在显著图的合并阶段,采用局部迭代法取代直接相加的合并方式。此模型与Itti模型相比,提取的显著图效果更加明显。
Abstract:
Key words :

  摘  要: 基于Itti模型,提出了一种改进的模型来提取图像显著区域,采用Itti方法提取图像的亮度、朝向特征显著图,在此基础上,将图像的频域特征融入到图像的颜色特征提取中,并且加入图像的轮廊特征提取,避免了Itti模型提取特征时没有明显的轮廊边界的现象。在显著图的合并阶段,采用局部迭代法取代直接相加的合并方式。此模型与Itti模型相比,提取的显著图效果更加明显。

  关键词: Itti模型;显著图;频域特征;局部迭代法

0 引言

  当人们看到一副图像时,首先将注意力集中在视觉上感兴趣的区域,其中图片的主要信息最能引起人们的注意,这样的区域就被称为显著区域。显著特征图是一个表征图像视觉关注区域的二维分布,如果也将它看成图像,那么灰度值越大则表示该区域的显著性越强,灰度的局部最大值即为图像的显著特征点[1]。

  视觉注意机制[2]是依据视觉心理学等领域的研究结果,仿照人的视觉生理结构建立起计算模型,模拟自底向上(bottom-up)的低级视觉方式找出图像中容易吸引人注意的区域。目前在这方面比较有代表性的是Itti模型[3]。

  本文提出一种改进的模型,在提取颜色、亮度、朝向特征基础上,提取图像的轮廊特征,共同融合为最终的图像显著图;特征显著图[4]的合并采用局部迭代取代直接的线性相加,能够更好地抑制目标之外区域。

1 Itti模型

  Itti模型首先对输入的图像在9个尺度上进行非均匀采样,然后通过高斯金字塔和center-surround算子进行局部视觉反差的计算,提取出亮度、颜色和朝向特征,通过多尺度的合并以及归一化得到三个特征的显著图,再对得到的三幅特征显著图进行线性融合,得到综合的视觉显著图[5]。Itti模型的基本框图如图1所示。

001.jpg

  1.1 初级视觉特征的提取

  在Itti模型中,用I表示输入的图像,r、g、b表示红绿蓝三种颜色,红、绿、蓝、黄四个颜色通道分别用R、G、B、Y来表示。

  R=r-(b+g)/2(1)

  G=g-(r+b)/2(2)

  B=b-(r+g)/2(3)

  Y=(r+g)/2-|r-g|/2-b(4)

  计算红色对抗对RG和蓝黄色对抗对BY这两组颜色对:

  RG=|R-G|(5)

  BY=|B-Y|(6)

  Itti模型提取亮度特征:

  I=(r+g+b)/3(7)

  Gabor函数有很好的方向选择性,对自然图像中朝向特征的提取采用Gabor滤波器较为合适。

  8.jpg

  1.2 显著图的生成

  显著图计算方法如下:

  利用中心c和周边s的高斯差分DOG计算图像的特征显著度。

  9.png

  用符号表示中央c和周边s差计算,亮度特征图、颜色特征图和朝向特征图分别用I、C和O来表示。

  亮度特征图:I(c,s)=|I(c)I(s)|(10)

  颜色特征图:

  RG(c,s)=|(R(c)-G(c))(G(s)-R(s))|(11)

  BY(c,s)=|(B(c)-Y(c))(Y(s)-B(s))|(12)

  朝向特征图:

  5EB1VPLR57ZM~O6([BOG85A.png

  将得到的特征图通过归一化、降采样和层间相加操作可以得到三个特征显著图,最终线性加权融合这三个特征的显著图而生成总的显著图。

2 算法的改进

  2.1 融合轮廊特征

  由于Itti模型提取的图像特征是颜色、亮度、朝向特征,因此Itti模型提取出来的显著图边缘信息不明显,而一幅图像最能吸引人类视觉注意的是其边缘信息,本文在Itti模型的特征部分加入了图像的轮廊特征。图像梯度信息可以有效地表现图像边缘情况[6],Sobel算子可以检测水平和垂直方向的梯度,本文采用Sobel算子进行边缘提取,那么轮廊特征可以表示为:

  S(c,s)=|S(c)·S(s)|(14)

  把特征图合并得到轮廊显著图:

  }S_CD_%5992TUJC`C~[OL3H.png

  2.2 颜色特征的提取

  本文提取图像中的高频部分作为图像的显著区域,采取提取高频、滤掉低频作为颜色显著图的提取方法[7]。利用颜色特征的中央-周边算子来得到显著图,用W、H来表示输入图像I的宽度和高度,则显著图S可表示为:

  S(x,y)=‖I-Iwhc(x,y)‖(16)

  其中,I为图像像素值的算术平均;Iwhc为原始图像经过高斯模糊得到的,高斯模糊的目的是为了避免噪音的影响,‖‖代表欧式距离。图2为颜色显著图对比。

002.jpg

  由图2可见,采用频域信息提取的颜色显著图亮度更明显,更加清晰。

  2.3 多特征显著图的合并

  本文采用局部迭代法代替Itti中的直接相加的合并方式,局部迭代法是引入高斯差分函数和偏置常量进行迭代,迭代过程是先将各个显著图归一化到同一个范围内,再与高斯差分函数进行卷积,采用局部迭代法产生的最终显著图更接近稀疏分布,这样目标之外的背景区域得到了更好的抑制。

  局部迭代的具体计算如下:

  M=?M+M*DOG-C」(17)

  18.png

  其中,*表示卷积运算,M是归一化后的各显著图,C是一个偏置。

3 实验结果分析

  本文采用MATLAB 2010a实现上述算法,采用的原图片是网上下载的图像处理常用图片库的图片,得到的Itti模型最终显著图和本文算法的显著图如图3所示。

003.jpg

  由实验结果看出,本文算法提取的显著图有明显的边界,克服了Itti模型容易丢失边缘信息的缺点。从运行时间上来看,本文算法在颜色特征提取处提高了效率,本文的方法平均耗时2.624 00 s,Itti算法平均耗时2.687 00 s,本文算法的运行效率与Itti算法相比有所提高。

4 结论

  本文在视觉注意模型的基础上,对Itti模型方法进行了改进,生成各特征显著图时加入了轮廊特征,颜色显著图生成时采用了频域特性取代Itti模型,减少了计算的复杂度。在特征显著图的合并过程中,采用局部迭代法代替直接线性相加的方式,这样避免了不同特征图之间显著性互相抵消的情况,具有更强的鲁棒性。实验表明,本文算法能够较好地实现显著图的提取。

参考文献

  [1] Hou Xiaodi, Zhang Liqing. Saliency detection: a spectral residual approach[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Minneapolis, Minnesota, USA, 2007: 1-8.

  [2] 陈嘉威.视觉注意的研究及其应用[D].厦门:厦门大学,2009.

  [3] ITTI L, KOCH C. Computational modeling of visual attention[J]. Nature Reviews Neuroscience,2001,2(3):194-203.

  [4] 李毅泉.基于注意力机制的显著区域提取研究和实现[D].北京:北京交通大学,2007.

  [5] 单列.视觉注意机制的若干关键技术及其应用研究[D].合肥:中国科学技术大学,2008.

  [6] 彭素静.基于视觉感知机理的显著区域研究[D].重庆:重庆大学,2009.

  [7] 付荣.基于活动轮廓模型和显著图的自然图像分割研究[D].上海:复旦大学,2010.


此内容为AET网站原创,未经授权禁止转载。