高明1,2,3, 邹耀斌1,2,3, 雷帮军1,2,3, 徐光柱1,2,3
(1.三峡地区地质灾害与生态环境湖北省协同创新中心,湖北 宜昌 443002; 2.湖北省水电工程智能视觉监测重点实验室,湖北 宜昌 443002; 3.三峡大学 计算机与信息学院,湖北 宜昌 443002)
摘要:目前国内外的研究主要围绕雾气这一退化因素提出不同的增强方法。然而,在工程实践中,光电雷达监控系统昼光传感器因同时受雾气和噪声的干扰,导致捕获的图像不但整体偏暗、对比度偏低、色彩失真,而且隐含有噪声。在分析光电雷达监控系统昼光传感器捕获的图像的特性基础上,提出了一种噪声干扰下的雾天图像增强方法。首先利用引导滤波器对原图像进行滤波操作,然后对滤波后的图像进行直方图拉伸变换。在大量实际图像上的实验结果表明,该方法能够有效抑制噪声干扰,同时显著增强降质图像。
关键词:去雾增强;噪声;引导滤波;直方图拉伸
0引言
水电工程智能视觉监测湖北省重点实验室开放基金项目(2014KLA02);宜昌市科学技术研究与开发项目(A13302a03)大气污染日益加剧,雾霾频发。在雾天,室外成像系统获取的图像质量退化,表现为对比度下降、细节丢失、颜色失真。因此,对雾天降质图像进行增强具有重要现实意义。
雾天降质图像增强是近些年来计算机视觉领域中的一个研究热点和难点。已有许多优秀的雾天降质图像增强方法[1],主要分为两类:基于非物理模型的雾天图像增强方法和基于物理模型的雾天图像复原方法。图像增强方法能有效提高对比度,突出细节。如直方图均衡化[23],通过重新分配图像像素值,使得一定灰度范围内的像素数量大致相同。此方法对图像进行全局对比度增强,易放大图像噪声。为克服不足,ZUIDERVELD K[4]提出限制对比度自适应直方图均衡化算法,通过在计算累计分布函数前用预定义的阈值裁剪直方图限制放大幅度,但易使彩色图像出现色偏。基于物理模型的图像复原方法方面,一些学者利用McCARTNEY E J等人提出的大气散射模型[5],对雾天场景建模来解决雾天降质图像的去雾问题。如TAN R T[6]统计发现无雾图像相对于有雾图像具有较高对比度,故最大化图像的局部对比度,但复原后颜色常过饱和。FATTAL R[7]假设光传播和场景目标局部不相关,估算出场景的辐照度和传播图像。该方法可因无法得到可信的传播图像造成复原图像失真较大。为解决以上问题,He Kaiming等人[8]提出基于暗原色的单幅图像去雾技术,指出无雾图像中存在能识别雾气浓度的暗原色统计规律,利用暗原色先验求取透射率,然后使用抠图算法进行校正,最终恢复出无雾图像,效果良好,但计算代价较大。近年来,针对上述几种经典算法涌现出许多改进方法:如使用双边滤波[9]或中值滤波[10]代替暗原色优先算法中的最小值滤波,能够在降低时间复杂度的同时有效保持边缘特性。
上述方法处理无明显噪声干扰的雾天降质图像能取得可以接受的增强效果。但若含雾图像带有较强噪声干扰则增强效果差强人意,部分方法在增强场景的同时急剧地放大噪声,造成更为严重的视觉退化效应。已有学者就此提出一些噪声抑制方法,如MATLIN E等人[11]采用图像噪声水平评价和迭代的方法同步去雾和去噪。Meng Gaofeng等人[12]对暗通道透射率函数进行边界约束,使用上下文正则化衰减噪声并增强图像结构。葛广一等人[13]通过对雾天图像采用滤波半径变化的双边滤波进行模糊,重新计算传输率图像后代入雾天成像模型,提出一种去雾过程中抑制噪声的方法。
本文提出一种噪声干扰下的雾天降质图像增强新方法。实验结果表明,提出的方法适合于光电雷达监控系统昼光传感器所捕获的含雾图像的增强。
1雾天图像增强方法的提出
光电雷达监控系统同时配备雷达定位装置和昼光传感器。昼光传感器对光照环境敏感,在雾霾天气能见度低的情况下获得的图像存在退化和噪声干扰现象。本文首先定性分析传感器捕获的雾天降质图像特性,确定增强思路;再阐述方法中的引导滤波和对比度拉伸两个关键技术,最后给出本文算法步骤。
1.1隐含噪声的含雾图像定性分析
图1(a)为雾天环境下获取的彩色图像。雾气带来明显的视觉退化效应,由于成像系统在成像或图像传播期间引入噪声,图像夹杂一定程度的噪声(隐含低对比度)。
图1(b)为图1(a)的红、绿、蓝三个通道直方图。多数像素点的亮度值分布在[80,170]区间,直方图分布相对狭窄,导致图像整体亮度偏低、对比度不高、色彩淡化。为改善图像整体亮度,提升对比度,提高色彩饱和度,可考虑使用直方图拉伸方法。
接下来分析图像中隐含的噪声特性。图像中均质区域能避免图像中细节丰富对图像的干扰,更好地表现噪声特征。图1(a)中红色方框为任意选取的矩形区域,计算其直方图如图1(c)所示。采用概率密度拟合分析技术,发现三个通道的亮度分布能很好地使用高斯分布来拟合,可判定图1(a)中噪声为高斯噪声。因此考虑使用具有抑制高斯噪声的滤波器滤除噪声,本文使用保边去噪且时间复杂度低的线性引导滤波器。
技术上,考虑噪声主要分布于狭窄的亮度范围内,若先对图像直方图进行拉伸会将噪声分散到更广范围,噪声对比度比场景对比度提升更明显,反而退化了图像视觉质量。因此考虑先对图像进行引导滤波处理,平滑噪声,再拉伸直方图,从而增强雾天图像质量。根据这一思路,下面分析用于去噪的引导滤波技术和用于增强对比度的直方图拉伸技术。
1.2引导滤波
引导滤波的基本原理是通过一幅引导图像对输入图像进行滤波,输出的图像在保留输入图像整体特征的同时能充分获取引导图像的变化细节。
将引导图像记为I,输入图像记为p,输出图像记为q。其中引导图像I和输入图像p需根据具体应用事先设定。
引导滤波的核心思想是假设q是I中窗口ωk的一个线性变换,该窗口以像素点k为中心:
qi=akIi+bki∈ωk(1)
其中,(ak,bk)是线性系数,在ωk中被当作常数,ωk是半径为r的正方形窗口。此局部线性模型保证了当且仅当I存在边界时q才有边界,因为q=aI。故该滤波器可有效保持边界信息。
引导滤波通过输入图像p的约束确定线性系数(ak,bk)。按照如下方式建模,输出q等于输入p减去某些成分n(噪声、纹理信息):
qi=pi-ni(2)
此时,最小化q与p之间差值的同时保持式(1)线性模型。特殊地,最小化窗口ωk的代价函数:
其中,ε是正则化参数惩罚过大的ak。式(3)的本质是线性回归方程,它的解为:
其中,μk和σ2k分别是引导图像I中窗口ωk的均值和方差,|ω|为窗口内的像素个数,pk=1|ω|∑i∈ωkpi是在窗口ωk中p的均值。获得线性系数(ak,bk)后,可以通过式(1)计算滤波输出qi。
由于一个像素点i在多个重叠窗口ωk中累计计算,在不同窗口中通过式(1)计算出的qi值不同。一个简单的策略是把qi的所有可能值做平均,所以在计算出图像中所有窗口ωk的线性系数(ak,bk)后,通过式(6)计算滤波输出。
由于方形窗口的对称性,式(6)可简写为:
qi=aiIi+bi(7)
其中,ai和bi是包含像素点i的所有窗口的平均系数。
引导滤波的原理示意图如图2所示。
1.3对比度拉伸
图像增强处理时,为突出感兴趣的目标或灰度区间一般采用分段线性函数,对比度拉伸变换是一种简便有效的分段线性函数。把整个灰度区间划分成几个灰度区间,拉伸要增强目标对应的灰度区间,抑制不感兴趣的灰度级,从而达到增强的目的。本文使用三段线性变换,表达式为:
其中,f(x,y)为输入图像在点(x,y)的像素值,g(x,y)为输出图像在点(x,y)的像素值,变换函数两个折点的像素值分别记为l和h,两个折点之间的分段直线斜率记为k。
1.4算法步骤
根据1.1节的分析得到本文的增强方案,即先对图像进行引导滤波处理,平滑噪声,再进行直方图拉伸,从而增强图像质量。结合1.2和1.3节内容,得到本文算法步骤如下:
(1)输入:滤波输入图像p,引导图像I=p,半径r,正则化参数ε。
(2)计算均值和相关系数
meanI=fmean(I)
meanp=fmean(p)
corrI=fmean(I.*I)
corrIp=fmean(I.*p)
(3)计算方差和协方差
varI=corrI-meanI.*meanI
covIp=corrIp-meanI.*meanp
(4)计算系数:
a=covIp./(varI+ε)
b=meanp-a.*meanI
(5)计算平均系数:
meana=fmean(a)
meanb=fmean(b)
(6)得到滤波输出图像:
q=meana.*I+meanb
(7)计算图像q的上限值h、下限值l和缩放因子k=1h-l。
(8)根据上限值、下限值和缩放因子对图像q进行灰度级拉伸得到最终结果。
2实验设计与结果分析
为验证有效性和实用性,通过450幅捕获的雾天降质图像(大小均为704像素×576像素,彩色和灰度图像各225幅),将本文算法与CLAHE[4]、BCCR[12]和Ge[13]进行比较,并从主客观方面进行验证。实验结果通过MATLAB2011a仿真得到,运行硬件环境:Intel Core2 T9400 2.53 GHz CPU,4 GB内存,64位Windows 7系统。
通过实验比对,以图像表现最佳视觉效果为原则,确定各算法的参数: CLAHE方法块大小t=8,对比度限制因子cl=0.01;BCCR算法边界约束窗口ω取3,正则化参数lambda取2;Ge的算法窗口大小px=15,透射率w=0.95;本文算法采用参数值r=8,ε=0.01,t=0.01。
作为示例,图3和图4分别为本方法与其他算法的增强效果对比。
一定程度抑制不利影响,但天空区域噪声明显放大,且图像色调偏绿。图3(c)中图像较原始图像平滑,噪声得到抑制,但边缘细节保持不佳且天空区域噪声呈聚团效应。比较而言,图3(d)则更好地恢复出景物色彩和结构,亮度提升明显,同时噪声明显抑制。在灰度图像上进行比对试验。观察图4中的5幅图像,同样发现本方法的处理结果在景物细节保留、亮度保持和噪声抑制3个方面总体效果优于另3种方法。
客观评价方面,对450幅图像逐一测试,记录均方误差(MSE)、峰值信噪比(PSNR)、基于局部方差的结构相似度(MSSIM)[14]和时间4个参数。观察发现同种算法处理彩色图像得到的4个数据分别散落分布在4个较小的区间内(灰度图像也存在此现象),这一现象与1.1节对隐含噪声的雾天图像的定性分析相互印证,即图像在像素分布和噪声类型上存在共性。故对数据分别取平均值示于表1、表2、表3中。表1和表2分别为4种算法对彩色图像处理和灰度图像的质量评价,本文算法的数据在MSE、PSNR以及MSSIM方面均为最优,表明本文提出方法在滤除噪声和保持与原始图像结构相似性方面优于其他3种算法。由表3时间评价可知,本文算法时效性优于BCCR和Ge方法,仅次于CLAHE算法。
3结论
为增强隐含噪声的雾天降质图像,本文提出一种简单有效的方法。通过对雾天获得的降质图像进行引导滤波保边去噪,然后实施直方图拉伸调节图像亮度,最终实现图像视觉质量的有效提高。实验结果表明,该方法在提高雾天图像景象可见度的同时有效滤除噪声干扰,增强图像边缘保持良好,细节清晰可辨,时效性高,特别适合于光电雷达监控系统昼光传感器所捕获的含雾图像的增强。
参考文献
[1] 吴迪,朱青松.图像去雾的最新研究进展[J].自动化学报,2015,41(2):221239.
[2] KIM J Y, KIM L S, HWANG S H.An advanced contrast enhancement using partially overlapped subblock histogram equalization[J]. Circuits and Systems for Video Technology, 2002, 11(4): 475484.
[3] KAUR M, KAUR J.Survey of contrast enhancement techniques based on histogram equalization[J].International Journal of Advanced Computer Science and Application,2011,2(7):137141.
[4] ZUIDERVELD K. Contrast limited adaptive histogram equalization[M]. Graphics Gems IV. San Diego, CA, USA: Academic Press Professional,1994:474485.
[5] McCARTNEY E J, TRANSLATED P N, Mao Jietai, et al. Optics of the atmosphere [M]. Beijing: Science Press, 1988.
[6] TAN R T.Visibility in bad weather from a single image[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2008:18.
[7] FATTAL R.Single image dehazing[C]. Special Interest Group for Computer GRAPHICS(SIGGRAPH),2008: 1-9.
[8] He Kaiming,Sun Jian,Tang Xiaoou.Single image haze removal using dark channel prior[J].IEEE Transactions on pattern analysis and machine intelligence, 2011,33(12):23412353.
[9] 游谦,黎英,李玉成.基于双边滤波的RGB通道去雾算法研究[J].计算机工程与应用,2014,50(6):157160.
[10] 唐美玲,张小刚,陈华,等.一种自适应中值滤波去雾算法[J].计算机工程与应用,2015,51(10):186190.
[11] MATLIN E, MILANFAR P.Removal of haze and noise from a single image[C]. The International Society for Optical Engineering,2012:82968306.
[12] Meng Gaofeng, Wang Ying, Duan Jiangyong,et al.Efficient image dehazing with boundary constraint and contextual regularization[C].IEEE International Conference on Computer Vision(ICCV),2013:617624.
[13] 葛广一,魏振忠.图像去雾过程中的噪声抑制方法[J].红外与激光工程,2014,43(8):27652771.
[14] 王宇庆,刘维亚,王勇.一种基于局部方差和结构相似度的图像质量评价方法[J].光电子·激光,2008,19(11):15461553.