郭志民1,陈 咏2,万迪明1,张小斐1,郭祥富1
(1.国网河南省电力公司电力科学研究院,河南 郑州450052;2.上海交通大学 电子工程系图像通信与网络工程研究所,上海200240)
摘 要: 在智能输电线路综合监测系统中,基于直升机巡检航拍获得的视频图像进行故障的自动检测,克服了人工巡检的缺陷,具有安全可靠、不受地域影响、成本低以及高效快捷的优势。由于监测系统的目标对象为输电线路,因此输电线路的定位直接影响到整个检测系统的输出。考虑到电力线的直线形状特性,以及在可见光下具备特定的光谱特性——灰度值一般较低且多为黑灰色,提出一种基于图像区域形状与颜色滤波的输电线路实时定位方法。其中,为了准确判断直线形状特性,采用了一种无量纲的边缘图提取方法,可有效抵抗光照畸变和背景噪声的干扰。同时,在多个航拍图像序列中随机选取了上万个电力线像素,基于三维颜色空间建立了电力线像素颜色值与灰度轴夹角的直方图分布,从而针对输电线路区域确定了有效的颜色滤波统计阈值条件。实验结果表明,所提出的输电线路定位方法,具有实时性好、定位准确性高以及抗干扰能力强的优势。
0 引言
输电线路的定期巡检是有效保证输电线路及其设备安全运行的一项基础性工作,用直升机对高压电线进行巡检正在逐步取代传统的人工检测输电线的方式,得到了越来越广泛的应用。因此,如何在复杂的地理背景环境下,准确快速地确定输电线的位置仍然是极具挑战性的课题,而且输电线定位对之后的输电线故障的检测以及分类都起着至关重要的作用,影响到了整个智能电路综合监测系统的准确性。
近年来,随着高分辨率航拍传感器在航空摄影中的应用,使得航空摄影测量技术有了极大的发展,“直升机巡视为主,人工巡视为辅”已经成为我国高压、超高压线路巡检的发展方向。在直升机巡检过程中,可以携带可见光数码照相机、数码摄相机和红外热成像仪等设备记录巡检线路的图像信息,这些图像信息包含了输电线路的基本特征及运行状态。通过对这些航拍图像的处理可以了解输电线路的基本状况,发现各种设备缺陷和故障隐患。但是如何准确地定位出输电线的位置仍然面临着许多挑战:如视频质量不佳、拍摄背景复杂干扰较多都会导致漏检和错检,导致输电线定位的准确性明显下降。另一方面,准确的输电线定位是智能监测系统的基础,输电线定位精度直接影响到故障检测以及故障分类的有效性,其根据输电线的拓扑结构位置信息来确定故障检测区域范围。因此,提高输电线定位的准确性以及减少对输电线区域的漏检率有着重要的现实意义。目前,利用巡航照片进行输电线检测的方法主要是基于图像的灰度梯度信息来获取图像的轮廓,然后利用Hough直线检测来定位出输电线区域。但是,由于航拍过程中背景环境非常复杂,道路边缘、房顶、各种标识及杂物都存在线性的边缘,并且由于航拍图像中的输电线较细,往往只有2~3个像素点的宽度,一旦图像存在一定的模糊就很难提取到完整的边缘,因此单纯利用边缘检测加上直线检测较难准确完整地定位出输电线在图像中的位置。
现有的输电线定位算法中,最主要的难点在于如何准确地检测出图像中的边缘信息,以及如何排除背景中同样具有直线形状的非目标物。现有的输电线定位算法利用图像的灰度信息来进行边缘检测以及直线检测,在简单的背景环境下可以取得较好的效果,但在背景环境复杂的情况下往往难以取得理想的结果,因此如何更好地在复杂的背景下提取图像的边缘信息,并有效排除非目标物是输电线定位的一个关键问题。
本文基于输电线的形状以及颜色特征提出了一种鲁棒的输电线定位方法,该方法考虑到输电线除了有长直线的形状特征外,还有一定的颜色分布特性——由于其制作材料的特性,输电线在可见光下具备特定的光谱特性,即灰度值一般较低且多为黑灰色。因此,可以通过颜色和形状滤波排除掉很大一部分的非目标物,使得在较为复杂的环境下也能较好地定位输电线区域,提升了输电线定位的鲁棒性。
1 基于相位一致性的边缘检测
在输电线的定位问题中,如何准确地获取图像的边缘信息是准确定位输电线位置的关键[1]。传统方法中最常用的边缘检测算法是使用Canny算法,这是因为Canny边缘检测算法与Roberts算子以及Sobel算子等相比,Canny算子的边缘提取最为完整,而且连续性好,原因在于它在边缘检测时进行了“非极大值抑制”和“形态学连接”,利用双阈值算法检测并连接边缘,使得图像边缘尽可能地实现闭合。但是Canny算法中为了减少噪声带来的影响采用了高斯平滑的方法,使得边缘的定位不够准确,此外在边缘提取中它主要采用了图像的梯度信息,而梯度信息对光照条件敏感[2],拍摄角度的变化以及阴影的存在都会影响边缘检测的鲁棒性。
利用相位一致性[3-4]来提取边缘信息,可以获得边缘的准确位置,并且该方法属于一种无量纲的边缘提取算子,对光照条件不敏感,可以适应直升机巡航过程中拍摄角度不断变化的实际需求。利用相位一致性来检测边缘的方法主要是基于局部能量模型,该模型认为边缘的位置不应该仅仅是梯度变化最大的点,而是从频率域出发,如果像素点的傅里叶分量相位具有很高的一致性,那么该点很可能位于边缘位置或者是特征点。Kovesi提出的相位一致性Phase Congruency(PC)的测量方法为:
其中E(x)表示了局部的能量值,∑nAn(x)代表了每一个频率分量的幅值之和,常数ε取一个很小的值,用于保证分母非零。
由于E(x)和A(x)的计算比较复杂,在实际应用中,往往利用复数小波响应来计算PC的值。首先去除图像的直流分量,然后用F(x)和H(x)来分别代表输入图像的小波响应的实部和虚部:
利用小波滤波器组的局部分析特性,可以方便地计算得到E(x)和A(x)的值。若相位具有很高的一致性,那么PC的值应该接近1,反之PC则取接近于0的值。可以看出,PC是个无量纲的边缘检测算子。相位一致性算法排除了光强变化造成的干扰,对光照变化以及阴影条件下的边缘检测效果有了明显提高。式(1)也可以用每个频率分量与整体的相位差的余弦函数来表示:
但是这种相位一致性的计算方法对噪声非常敏感,并且存在一个缺陷就是当只含有一个频率分量时,计算得到的PC值始终为1但却没有实际意义。为了避免这种情况的产生并抑制噪声带来的干扰,引入了频带宽度的权重系数W(x)和噪声阈值T,提高了PC值的抗噪性。因此PC值的计算公式可以进一步定义为:
式(6)中的运算符(.)+表示如果括号内的值小于0则取0,若括号内的值为正则不作变化。
对于噪声的估计,考虑到噪声两个特性:其一,噪声是遍布在图像中的,它的值一般是一个常量;其二,边缘一般都是独立分布在图像中的。由这两点可以推断出最小尺度的小波滤波器响应主要是来源于噪声的响应,因此噪声的平均值可以用最小尺度上的滤波器响应A0(x)来估计:
假设噪声的频谱是平坦的,那么就可以用各个相关带宽的最小尺度的小波滤波器响应来估计整体的噪声。根据Parseval定理,空间域频率响应的平方值就是信号的功率,并假设滤波器响应的平方正比于其带宽,就可以用噪声的均值来估计整幅图像的噪声:
其中,N是小波滤波器组的尺度个数,m表示相邻尺度之间的比例因子,k是放大因子用于估计噪声的最大值,一般取2.5~3。
上述PC计算方法抗噪性能较好,但是对于存在模糊的边缘,检测效果不佳。根据式(5)可以看出能量E(x)是一个余弦函数,随相位的差值变化而变化,但是并不敏感。为了增加PC值的敏感度增强其在存在模糊的图像中检测边缘的效果,可以利用正弦函数的特性:
通过式(9)计算PC值,这样得到的边缘检测结果抗噪性能好,并且在存在轻微抖动的图像中仍然可以准确地定位边缘。在输电线巡航的过程中,由于直升机本身的不稳定获取的图像往往存在一定的运动模糊和噪声干扰,使用PC方法获取的边缘可以很大程度地去除噪声干扰,获取清晰的边缘图。
2 基于形状和颜色滤波实现输电线定位
获取了较好的边缘信息后,对边缘图进行二值化,然后利用Hough直线检测[5-6]的方法在图像中寻找可能存在的直线,这样可以得到图像中所有可能存在的直线的位置。由此可以发现,在复杂背景下获取的边缘信息存在许多非目标物,并且由于边缘检测比较敏感,有时会将云朵的形状,地面的纹路都清晰地检测出来,这些边缘是我们不需要的,它们会在Hough直线检测中造成干扰。因此要在直线检测之前先对图像进行预处理,以去除非目标物带来的干扰,本文对输电线的颜色特性给出了统计分析,具体检测流程如图1所示。
输电线的颜色特性,主要是由于输电线材料通常是钢芯铝绞线,该材料在可见光下具有特定的光谱且灰度值一般较低且多为银白色,这一颜色特性在RGB颜色空间中则表现为输电线所在像素点非常靠近灰度轴,如图2所示。
因此对图像中的每一个像素点都计算其颜色矢量与灰度轴的夹角值:
对式(10)计算出的夹角值用直方图进行统计,根据统计直方图的分布获取输电线的颜色分布范围。在本次实验中采用了长度为20 s的测试视频,每隔2 s取一帧图像用于进行统计,图3(a)是在取出的10张测试图像中所有像素点的灰度轴夹角余弦值的统计图,图3(b)是人工标记出的这10张图像中的输电线,获取其像素点并作其灰度轴夹角余弦值的统计直方图。通过对比这两张图可以发现,输电线的夹角范围很小,集中在靠近灰度轴的附近,而整幅图像中往往有彩色的物体存在,因此与灰度轴的夹角相对较大。按图3(a)中所示在靠近cosθ=1处的第一个波谷位置即红线所示位置取阈值0.996对图像进行滤波,则可以去除一部分偏离灰度轴的背景区域,之后再进一步利用形状滤波来定位输电线,可以减少非目标物的错检。
图4为滤波后得到的二值图像,其中用灰度值255显示了属于输电线颜色分布范围的像素点,其余像素点都置为黑色。
然后根据这张二值图像对已经获取的边缘图像作进一步的形状滤波,只保留符合条件的物体的边缘,用于排除了复杂背景中非目标物带来的影响——主要是利用了输电线的形状特性和拓扑结构特性定位出输电线在航拍图像中的位置。在航拍获取的图像中,输电线基本是贯穿整幅图片的长直线,并且由于航拍过程中飞行高度一定,电力线的宽度一般在2~5个像素之间,拓扑结构一般为不相交的平行直线[7]。因此可以根据输电线的形状特征进行进一步的筛选。然后,根据直线的斜率以及所在的位置对它们进行归类,将属于同一条输电线的直线归为一类,然后判断出每一条线的总长度。输电线在航拍图像中一般都贯穿整幅图像,因此若一条直线的总长度小于图像最短边的一半时,则可以认为该直线不是输电线的边缘。
3 实验比较与分析
为了更好地说明相位一致性的边缘检测较之于传统的Canny检测方法具有更好的边缘检测特性,以及利用形状和颜色滤波定位输电线可以有效地减少漏检、错检,本文选取了一些场景来进行实验,分别比较了两种边缘检测效果的不同以及基于两种边缘检测结果输出的输电线定位效果。
图5显示了两种边缘检测的结果,本文选取了3个场景下的结果图像作对比。通过比较第一行我们可以发现,Canny检测虽然可以在大部分情况下得到较好的检测结果,但对于光照变化较大的情况以及图像对比度较低的情况下会发生漏检,而相位一致性方法则对光照不敏感,可以完整地检测出输电线路区域,准确地贴合了实际情况;第二行的场景中存在光线变化,Canny检测可以很好地获取近处的输电线的边缘,但对于远处的输电线由于对比度不够强,有些输电线的边缘就不能完整地检测出来了,而相位一致性算法则可以很好地将所有直线的边缘都完整地检测出来了,这样完整的边缘图像能够有效地减少之后输电线定位中发生的漏检情况。第三个场景中背景较为复杂,相位一致性的检测方法虽然很好地将输电线的边缘提取出来,但同样提取出了很多背景中不明显的非目标物的边缘,这对于今后利用直线检测定位输电线造成干扰,因此需要对边缘检测的结果进一步做颜色滤波,有效排除背景干扰。
图6左栏的结果是只利用了Canny边缘进行直线检测来定位输电线的结果,右栏是本文提出的利用相位一致性获取的边缘图像经过颜色滤波以及直线检测得到的输电线定位结果。我们发现,第一个场景下传统方法的定位存在明显的漏检,右上角处的输电线由于距离较远颜色较淡在传统的检测方法中无法检测出来,发生了漏检,而利用文中提出的形状和颜色滤波来定位输电线,则可以很好地检测出所有的直线;第二个场景背景较为复杂,利用形状信息可以较好地排除误检的直线,相较于传统方法,定位比较准确不会出现检测到的直线存在断续的情况。
4 结论
本文利用相位一致性的方法进行了边缘检测,提高了在拍摄角度、光照变化情况下的输电线检测的准确性,直线检测的方法根据输电线的形状特性来定位输电线的位置,并在此基础上结合其颜色特征对图像进行颜色滤波,排除了背景中其他具有类似形状特征的非目标物的干扰,有效准确地定位出了输电线的具体位置。在对输电线的航拍巡检中,文中给出的输电线位置的定位技术具有重要意义,并且在智能输电线监测系统中,本文提出的方法具有较高的实用价值。
参考文献
[1] OSKOEI M A,HU H.A survey technical report CES-506,2010, University on edge detection methods[D].University of Essex,Essex.
[2] Yan Shujia,Jin Lijun,Zhang Zhe,et al.Research on fault diagnosisof transmission line based on SIFT feature[J].ISNN 2013,Part II,LNCS 7952:569-577.
[3] Peter Kovesi.Phase congruency detects corners and edges[C].In the Australian Pattern Recognition Society Conference:Digital Image Computing:Techniques and Applications DICTA 2003.December 2003.Sydney:309-318.
[4] KOVESI P.Edges are not just steps[C].Proceedings of ACCV2002 The Fifth Asian Conference on Computer Vision,Melbourne Jan 22-25,2002:822-827.
[5] Li Zhengrong,Liu Yuee,HAYWARD R F,et al.Knowl-edge-based power line detection for UAV surveillance and inspection systems[C].23rd International Conference on Image and Vision Computing New Zealand(IVCNZ 2008),26-28 November 2008,Christchurch,New Zealand.
[6] Zhang Jingjing,Liu Liang,Wang Binhai,et al.High speed automatic power line detection and tracking for a UAV-Based inspection[C].In the 2012 International Conference on Industrial Control and Electronics Engineering.
[7] 仝卫国.基于航拍图像的输电线路识别与状态检测方法研究[D].保定:华北电力大学,2011.