基于DSP的红外图像非均匀性校正技术的研究
2009-06-11
作者：潘银松， 张 威， 张仁富， 李
摘 要： 分析了导致红外成像系统非均匀性的机理，介绍了红外焦平面阵列非均匀性校正的基本方法。采用两点校正和积分时间校正相结合的方法，利用TMS320VC5509A DSP完成了对红外图像的非均匀性实时校正。实验结果表明,本系统具有实时性好，实用性强的特点，能够满足红外焦平面成像系统的要求。
关键词： DSP； 红外图像； 红外焦平面阵列； 非均匀性校正
红外辐射覆盖宽达0.76μm～1000μm的电磁波段，是重要的信息资源。随着微电子技术、大规模集成电路技术和信号处理技术的发展，把热效应和CMOS技术结合起来研制的红外焦平面阵列IRFPA(Infrared Focal Plane Array)成为红外热成像领域最令人关注的焦点之一。
红外焦平面阵列探测元具有灵敏感度高、探测性能强、能够获得物体更多的表面信息以及更高的帧速率等优点，正成为红外热成像技术中的主流器件。目前，红外焦平面阵列(IRFPA)探测器[1-2]已经广泛应用于国防、民用等各个领域。但是，由于红外成像的特殊性以及材料、工艺方面的原因，探测器每个像元对红外辐射响应不一致，这种不一致表现在图像上就是空间上的不均匀，严重影响了红外成像系统的成像质量。因此，对红外图像进行非均匀性校正成为提高红外焦平面阵列成像质量的关键。
目前，国内外已经提出了许多关于红外图像非均匀性校正的算法，本文在采用两点温度定标法进行非均匀性校正之前，先用一点校正法对积分时间进行了校正，最后将校正数据的计算任务交给DSP来完成，实现了对红外图像的非均匀性校正。
1 红外图像非均匀性的定义
红外焦平面探测器的响应非均匀性问题不同于一般的图像噪声。一般的图像噪声是瞬态随机噪声，可以通过帧/场处理的方法来消除。探测器的非均匀性是一种固定图形噪声，它主要包含以下几个方面[3]：(1)空间的非均匀性，也就是不同敏感元对同一光通量的响应率不同，个别敏感元甚至对不同的光通量的响应不变或发生很小的变化，即盲元；(2) 时间非均匀性，指同一敏感元在不同时间对相同光通量的响应不同，即非均匀性是时变的；(3) 探测器各敏感元对同一光通量增益的响应不同，即非线性。
对于一个M×N的红外焦平面探测器，其输出响应的非均匀性NU(Nonuniformity)一般按如下定义[4]：
式中，Vij(T)为焦平面上第i行第j列所对应像元的输出
2 非均匀性校正算法
IRFPA非均匀性校正的任务就是补偿探测器的空间非均匀性。校正方法主要有硬件校正和软件数值校正两种。硬件校正一般在焦平面器件硬件设计的基础上，通过对焦平面器件后继电路的模拟信号处理或焦平面工作条件的选择来降低红外图像的非均匀性[5]。软件校正是利用数字图像处理技术进行非均匀性校正。由于硬件校正法使得焦平面后端模拟信号处理电路较为复杂，而软件校正法更为灵活，易于实现，因此本文采用软件数值校正方法。
软件校正技术分为基于定标和基于场景两种。前一种技术在对IRFPA定标时，要求停止成像系统的正常工作，进入对探测器的标定工作模式[6]。此类非均匀性校正方法有三种：一点校正法、两点校正法和多点校正法。多点校正法不需要停止探测系统的正常工作，通常使用图像序列并且依赖于目标相对于场景的运动，以在每一探测器单元上产生场景温度的变化。这些温度变化依次提供统计参考点，依照这些参考点，可以对探测器的响应进行校正。这种方法要求场景中存在运动且校正方法计算复杂，实现起来比较困难，对探测单元自身响应的非均匀性无法校正，校正效果并不理想。考虑到系统的实时性，文中采用了基于定标的两点非均匀性校正法。
2.1 两点校正法原理
两点校正法是在假定红外焦平面像元输出在有效工作范围内、光电响应是线性的条件下进行的。从红外图像非均匀性的来源和表现形式可以看出，如果各阵列单元的响应特性在所感兴趣的温度范围内为线性的，且在时间上是稳定的，并假定暗电流的非均匀性影响较小，则非均匀性引入了固定模式的乘性和加性噪声。在这种情况下，对于M×N的红外焦平面阵列，第(i,j)个探测器在温度为T时的均匀辐射背景下，入射辐照度为 φ(T)，其输出响应表示如下：
因此只需确定增益和校正系数(gij、oij)，就能得到非均匀性校正后的输出。取2个不同温度T1、T2下的均匀黑体，得到2个入射辐照度φ(T1)和φ(T2)作为定标点，分别测得各探测器的响应Vij(T1)和Vij(T2)：
将(11)式、(12)式的计算结果代入(6)式，便可得到对各输出响应非均匀性校正的结果。
2.2 积分时间校正
在实际应用中，经常需要根据目标红外辐射强度修改探测器积分时间。而对图像进行了非均匀性校正后，即使效果良好，若改变探测器的积分时间，由于其读出电路、器件、放大电路的离散特性及工艺差异，图像的均匀性仍会明显变差[7]。这种现象本质上是由于各个探测单元输出电路对积分时间响应的非一致性引起的。因此，在两点定标非均匀性校正之前，应先对积分时间采用一点校正法，把各个探测器的输出信号校正为一致。
在均匀辐照强度下，积分时间为t1时获取整幅图像M×N个像素单元灰度值的平均值，用如下公式表示：
式中，fij(t)为积分时间t时第(i,j)个像素点的灰度值，fij′(t)为其校正后的灰度值。
3 校正系统组成及工作原理
3.1 硬件组成
系统从功能上由图像采集、DSP数据处理与存储部分、图像输出、时序控制和逻辑转换四部分组成。其原理结构框图如图1所示。
图像采集部分包括IRFPA和同步FIFO芯片，采用IDT公司生产的一款高速同步FIFO芯片IDT72V263，芯片的深度为8 K，宽度为18位，时钟频率为100 MHz，读写速度远远超过异步FIFO，可以与DSP芯片实现无缝连接[8]。
DSP数据处理与存储部分主要包括DSP、Flash、SDRAM和DSP外围电路，其中，Flash用于存放DSP程序和非均匀性校正参数(NUC表)，SDRAM用于存放校正前后的图像数据。该模块是系统的主体部分，其主要功能是对采集的图像进行非均匀校正、对比度增强等。DSP芯片选用了定点数字信号处理器TMS320VC5509A，其时钟频率最高可达200 MHz，具有双乘法器和2个算术/逻辑单元，3条内部数据/操作数读总线和2条内部数据/操作数写总线，片上有128KB×16bit的RAM和64KB(32KB×16bit)的ROM，同时它还具有丰富的片内外设，功能十分强大。Flash芯片选用SST39VF400，该芯片的容量为256 K×16 bit， 3.3 V供电，可以刷写1 000次读写时间为70 ns-90 ns( 11 MHz～14 MHz)。SDRAM选用一片4 MB×16 bit、100 MHz 的MT48LC4M16A2芯片，由于TMS320VC5509A只支持16 bit的数据宽度，因此将DSP的字节使能引脚BE1、BE0分别与SDRAM的DQMH、DQML对接，即可实现DSP和MT48LC4M16A2的无缝连接。
图像输出部分主要是利用TMS320VC5509A自带的USB模块，将处理完的图像通过USB接口直接传输到PC机上进行显示。
时序控制和逻辑转换部分主要是由CPLD及其外围电路完成。其主要任务是控制图像数据的输入时序以及DSP对Flash的扩展地址锁存。CPLD芯片采用EPM7128SLC84-15，它具有2 500个可用门、128个宏单元、8个逻辑阵列块、最多可用I/O引脚为98个。它还支持多电压I/O接口特性，允许与不同电压器件相连。
3.2 工作原理
系统充分利用DSP的GPIO6口和GPIO4口，通过控制这两个端口的状态来完成系统的工作。当DSP完成初始化后，令GPIO6=1，开始采集一帧图像，开启外部中断，当外部中断0产生时，则进入图像采集子程序，在该程序中DSP每采完一行图像数据，行计数器j减1，然后判断j是否为0，即判断是否采完1帧图像，若未采满1帧，直接中断返回；若采满1帧(j=0)，则关闭中断，暂时不再响应CPLD发出的中断，然后再返回。而主程序在判断j是否为零期间一直处于等待状态，直到j=0，则令GPIO6=0，停止采集图像数据。1帧图像采集完毕后按下DSP的复位键，再采集另一帧图像。当两幅图像采集完毕后，若GPIO4=0，则进行参数采集，即DSP将两幅图像转存入SDRAM中，计算非均匀性校正系数，将NUC表存入Flash; 若GPIO4=1,则进行图像处理，即根据所计算的参数，对图像进行非均匀性校正。系统的主程序流程图如图2所示，中断流程图如图3所示。
4 实验结果
用像元数为128×128的红外焦平面阵列进行红外图像非均匀性实时校正实验,分别把校正前和校正后的图像进行灰度映射，之后转换成.bmp图像文件在VC环境下输出，得到图4、图5所示的图像，按(1)式对校正前后的图像数据(电平值)进行计算，计算出的非均匀性分别为9.5 %和2.9 %，校正后图像的非均匀性降低了近70 %。可见非均匀性得到了很好的改善。
由于采用了具有强大运算能力的DSP器件，并且在校正过程中对实时校正程序采用了汇编级优化，使校正系统的实时性、灵活性和通用性得到了显著提高，经过本系统处理的红外图像其非均匀性也得到了显著提高。
参考文献
[1] 许中胜.红外探测系统参数关系及实际应用[J].光学精密工程,1999,7(4):81-85.
[2] 崔敦杰.关于红外探测器与红外焦平面阵列探测器性能参数描述方法的商榷[J].光学精密工程,2003,11 (3):
265-269.
[3] HARRIS J G. Non-uniformity correction using the constant-statistics constraint:analog and digital implementations[A].SPIE[C],1997, 3061:895-905.
[4] HAYAT M M. Model-based real-time non-uniformity correction in focal plane array detectors [A]. SPIE[C],1998,3377:122-131.
[5] 常本康,蔡毅.红外成像阵列与系统[M].北京:科学出版社,2006.
[6] TISSOT JL,(CTLIS),CHATAR J P, MOTTIN E. Technical trends in amorphous silicon based uncooled IR focal plane arrays.The International Society for Optical Engineering， 2002，4820(1).
[7] 崔洪州,胡劲忠.提高红外图像均匀性的两级校正技术研究[J].激光与光电子学进展,2005(9):32-38.
[8] Integrated Device Technology Inc.IDT72V263 Datasheet.2003.