文献标识码: A
DOI:10.16157/j.issn.0258-7998.190928
中文引用格式: 李甜甜,林珊玲,林志贤,等. 基于人眼视觉的电润湿电子纸图像分层映射技术研究[J].电子技术应用,2020,46(3):86-91.
英文引用格式: Li Tiantian,Lin Shanling,Lin Zhixian,et al. Research on hierarchical mapping technology of electrowetting electronic paper based on human visual system[J]. Application of Electronic Technique,2020,46(3):86-91.
0 引言
电润湿电子纸显示器是反射型显示器,利用环境光即可显示,具有响应速度快、对比度高、功耗低等优点[1-5]。然而,目前电润湿电子纸显示屏受驱动芯片和驱动方式等限制,无法直接显示高灰度图像,若直接取图像高位数据,舍去低灰阶数据,将造成图像对比度、视觉信息损失,为解决这个问题,可采用色调映射算法,把图像映射到一个新动态范围,以提高图像对比度[6-8]。DRAGO F等[9]模拟人类对光的反应,根据每个像素亮度自适应调整对数基,使图像细节和对比度保持良好。TAN J等[10]将图像分成几个相同大小的块,利用双边滤波提取细节层,实现块映射融合对数映射。DURAND F等[11]利用快速双边滤波将高动态范围图像分为基本层和细节层,保留细节并降低动态范围。陈文艺等[12]在亮度域使用对数压缩和限制对比度自适应直方图均衡化算法,转换到色彩域后采用色彩恢复和色彩增强算法,可有效降低色彩失真。WANG J等[13]提出一种局部自适应双边滤波器,根据像素亮度值自适应调整对数基,实现高亮度范围压缩,在暗区具有良好对比度和细节。李大军等[14]提出一种基于参数估计的双边滤波Retinex图像增强算法,可有效保留边缘信息,抑制光晕现象。THAI B C等[15]使用分段线性函数,根据人类视觉的感知量化调整低动态范围图像像素分布,同时保留了更多图像信息。刘朝涛等[16]利用形态学方法对原始图像增强,提高对比度,并对图像进行光照补偿,改善因光照不均引起的色彩改变。DUAN J等[17]在局部区域中使用基于灰度直方图的色调映射算子对图像分割,调整自适应对比度,利用固定参数值对多种图像具有良好映射效果。
众所周知,电润湿电子纸显示器的显示亮度与驱动电压之间呈非线性关系[18-20],这样导致在不同的初始状态下,相同电压、相同时间长度的驱动脉冲作用下带来的亮度变化是不同的,可能会导致图像失真、细节丢失等问题。因此,为实现电润湿显示器的精准调制,必须对其亮度进行校正。
基于上述问题,本文根据人眼对亮度的变化接近于对数关系,把原始图像的范围映射到一个符合人眼视觉特性的低动态范围,再对映射后图像进行亮度局部线性拉伸,使得输出图像既能较好地保留更多轮廓细节,又能提高整体对比度,提升可视化效果。
1 基于人眼视觉特性的分层映射算法
本文算法基本流程图如图1所示。利用双边滤波对输入图像进行分层,得到基本层和细节层,对基本层图像进行基于对数图像处理模型(Logarithmic Image Processing,LIP)的Lee图像增强,实现亮度预处理;再基于人眼视觉特性,对图像进行分区对数映射,以适应人眼在不同程度的亮度区域内对亮度的感知;然后与细节层加权融合为输出图像;最后进行电润湿显示器的亮度局部线性拉伸,实现精准调制。
1.1 基于LIP模型的图像增强算法
对输入图像进行滤波处理,得到基本层和细节层。其中,基本层主要对应图像低频信息,细节层主要包含图像高频信息。图像分层过程如式(1)和式(2)所示:
1.2 基于人眼视觉的亮度映射
1.2.1 基于人眼视觉的图像分区
引入背景强度B(x,y)和梯度信息G(x,y),如式(4)和式(5)所示。
1.2.2 分区对数映射
基于人眼视觉的研究,显示给人眼看的亮度值Ld和场景亮度值Lw之间存在如式(13)所示的映射关系。
式中,Yw为图像R′(x,y)每个像素的亮度值,Ywmax为Yw取值集合中的最大值,Yworld为场景适应亮度;N是图像R′(x,y)像素的总数;δ为很小的值,一般取0.000 1。
以对数映射为基础,进行分区对数映射。LD和WS区映射分别如式(17)和式(18),Ld1、Ld2分别为LD和WS区映射后亮度值。对不同区选取不同对数底数,以符合亮度映射需求。在低对比度和德弗里斯区,对数底数为2,可增强对比度和亮度;k,q∈(1,+∞),选用较大的k、q可有效维持细节,保证暗区细节可见性。在韦伯和饱和区,为避免单一底数的过度压缩,引入如式(19)所示的偏置幂函数使对数底数自由可调,本文b=0.85,在压缩W和S区的同时不丢失较暗部分细节。
1.2.3 加权融合
对映射后的子图像Ld1和Ld2进行合并,得到区域合并后图像亮度LB′(x,y),如式(20)所示。最后将LD(x,y)和LB′(x,y)加权融合为输出图像T(x,y),如式(21)所示。
式(21)中,p1∈[0.7,1],p2=1.1。式(20)中,ρLD、ρws分别为两个区域在局部范围内所占比重。
1.3 亮度校正
如图2所示,电润湿显示器的相对亮度与驱动电压呈非线性关系。由图2可知,当施加电压低于10 V时,像素亮度基本不变,即像素为关闭状态;当施加电压高于10 V时,像素亮度开始变化,亮度在25~40 V电压之间的变化比10~25 V电压之间的变化缓慢,这样使得在不同初始状态下,相同电压、相同时间长度的驱动脉冲作用下带来的反射率变化不同,将会导致图像信息丢失等问题。因此,必须对25~40 V电压之间的显示特性进行校正。
利用式(23)对电润湿显示器件进行亮度校正,得到的输入图像数据对应的输出图像数据如表 1所示。由表1可知,输入图像数据为1110对应的归一化电压为0.725,归一化亮度为0.953 48,经线性拉伸后,归一化亮度为0.799 25,输出图像数据为1100。
2 结果与分析
2.1 分区对数映射仿真结果与分析
图像质量评价方法主要有视觉比较和客观评价。视觉比较是用人眼直接观察,大脑根据主观意识得到相关结论。客观评价方法主要有熵值(Entropy)、均方根误差(MSE)、峰值信噪比(PSNR)、整体图像质量(UIQI)、结构相似度(SSIM)等[25]。本文选用熵值、峰值信噪比、结构相似度、整体图像质量来评价图像质量。
本文选取一些数字图像处理经典图像进行实验,利用直方图校正映射,基于Retinex的映射算法与本文算法的结果对比。实验基于MATLAB2017平台开发环境实现。
2.1.1 主观评价
Lena、Peppers、Sunset_sparrow不同算法效果图分别如图3、图4和图5所示。
图3(b)、图4(b)和图5(b)为直方图校正映射算法处理结果,Lena的帽子亮度值较大的部分细节丢失,不易分辨亮处细节;Peppers亮度不均匀;Sun-sparrow部分过亮,造成树枝暗处细节丢失。图3(c)、图4(c)和图5(c)为基于Retinex的映射算法处理结果,Lena图像整体过暗,头发细节部分失真;Peppers图像不自然,出现过增强或过压缩现象;sparrow和树枝边缘均出现了明显的“光晕”现象。图3(d)、图4(d)和图5(d)为本文算法处理结果,保留Lena图像大部分细节;Peppers整个图像较为真实,明暗过渡自然,适合人眼观察;sparrow边缘避免了“光晕”现象,且树枝轮廓清晰,保留了图像对比度。本文算法使得图像较暗部分细节在映射后清晰可见,较亮部分在映射后较好地压缩了动态范围,能保持几乎所有可视细节信息,图像整体视觉效果比较和谐。
2.1.2 客观评价
熵用于衡量图像信息丰富程度,如式(24)所示,其中p(xi)为灰度级xi的累积频率。当灰度级发生“吞噬”现象时,图像的信息量即“熵值”是减小的。
峰值信噪比反映图像清晰度,如式(25)所示,其中S为像素最大灰度值。m、n为图像长和宽,L(x,y)、T(x,y)为原图像和映射后图像,PSNR值越大说明映射后图像质量越好。
结构相似度通过比较图像结构信息的改变考虑图像的失真,得到客观质量评价,如式(26)所示,μL、μT分别为原图像和映射后图像的均值,σL、σT分别为原图像和映射后图像的方差,σLT为原图像和映射后图像的协方差,c1、c2、c3为常数。SSIM值越大说明映射后图像质量越好。
整体图像质量从相关性、亮度和对比度失真考虑图像失真度,UIQI为1,则原图像与映射后图像一致。UIQI值越接近1,映射后图像质量越好,如式(27)所示:
本文采用以上4种方法,结果如表2所示。由表2可知,Lena、Peppers、Sunset_sparrow原图像的熵分别为7.449 7、7.593 5、7.498 3,本文算法的Entropy值均略高于直方图校正映射、基于Retinex的映射,减少了图像“吞噬”现象,熵值与原图像更为接近。经统计,本文算法相对于直方图校正映射,Lena、Peppers和Sunset_sparrow 图像PSNR值分别提高了33.95%、21.29%、45.21%,SSIM值分别提高了12.2%、7.77%、12.99%,UIQI值分别提高了19.48%、14.26%、27.28%;相对于基于Retinex的映射,Lena、Peppers和Sunset_sparrow 图像PSNR值分别提高了63.23%、47.8%、50.09%,SSIM值分别提高了43.05%、24.03%、21.69%,UIQI值分别提高了65.36%、50.03%、41.19%。指标参数结果与图片仿真结果的分析吻合,说明本文分区对数映射算法较好,更加注重人眼视觉,压缩图像亮度范围的同时较好地增强了细节信息。
2.2 亮度校正结果与分析
将本文提出的亮度局部线性拉伸方法应用到电润湿电子纸显示系统上,测试用的电润湿显示屏分辨率为1 024×768。测试方法是在PC端通过亮度校正模块将输出数据传输到电润湿电子纸显示系统,然后用亮度计测量显示面板的中间区域,共测量15次不同输出数据下的面板亮度,最后对15次测量数据取平均值。校正后结果如图6所示,由图可知,亮度校正后,25~40 V电压段的电压与亮度曲线的关系接近线性。
2.3 实际测试
将本文所提出的方法在电润湿显示屏上显示。图7(a)为原始图像在电润湿显示屏上的效果图,图7(b)为映射后的效果图,图7(c)为亮度校正后的效果图,图7(d)为映射+亮度校正后的效果图。
由图7可以看到,原图整体对比度不高,尤其是头发部分的细节丢失,轮廓模糊不清;经映射后,帽盖和头发细节增多,符合人眼在不同程度的亮度区域对亮度的感知;经亮度校正后,鼻唇沟可明显观察到,Lena图对比度提高;经映射+亮度校正后,提高了图像整体对比度,头发细节增多,轮廓清晰。
3 结论
本文提出一种基于人眼视觉的电润湿电子纸图像分层映射技术。利用双边滤波将图像分解为基本层和细节层,基于LIP模型的Lee增强算法对基本层进行亮度增强,并根据韦伯-费希纳定律分区,实现分区对数映射,与细节层加权融合为输出图像,同时对电润湿显示器亮度进行局部线性拉伸。结果表明,本文算法的熵值与原图像更为接近。图像评价指标PSNR、SSIM和UIQI值相较于直方图校正映射,分别提高了约0.2~0.4,0.07~0.1,0.1~0.2;相较于基于Retinex的映射,分别提高了约0.4~0.6,0.2~0.4,0.4~0.6。最终在电润湿电子纸上显示的图像边界、纹理等细节增加,校正后的电压与亮度关系更接近线性,对比度提高,整体视觉效果较好。
参考文献
[1] HAYES R A,FEENSTRA B J.Video-speed electronic paper based on electrowetting[J].Nature,2003,425(6956):383.
[2] 易子川,曾磊,周莹,等.电润湿电子纸多级灰阶研究与设计[J].华南师范大学学报(自然科学版),2018,49(6):17-23.
[3] 唐彪,赵青,周敏,等.印刷电润湿显示技术研究进展[J].华南师范大学学报(自然科学版),2016,48(1):1-8.
[4] YI Z,SHUI L,WANG L,et al.A novel driver for active matrix electrowetting displays[J].Displays,2015,37:86-93.
[5] YOU H,STECKL A J.Three-color electrowetting display device for electronic paper[J].Applied Physics Letters,2010,97(2):023514.
[6] 欧海燕,郭太良,姚剑敏,等.基于分层色调映射的LED背光调制算法[J].液晶与显示,2011,26(2):246-249.
[7] 芦碧波,皇甫珍珍,郭凯,等.基于双边滤波的多尺度分层色调映射算法[J].液晶与显示,2018,33(9):816-822.
[8] 孙晨康.基于双边滤波的高动态范围图像映射算法研究与实现[D].西安:西安电子科技大学,2015.
[9] DRAGO F,MYSZKOWSKI K,ANNEN T,et al.Adaptive logarithmic mapping for displaying high contrast scenes[J].Computer Graphics Forum,2003,22(3):419-426.
[10] TAN J,HUANG Y,WANG K.Logarithmic tone mapping algorithm based on block mapping fusion[C].2018 International Conference on Audio,Language and Image Processing(ICALIP).IEEE,2018:168-173.
[11] DURAND F,DORSEY J.Fast bilateral filtering for the display of high-dynamic-range images[C].ACM Transactions on Graphics(TOG),2002,21(3):257-266.
[12] 陈文艺,张龙,杨辉.HDR图像色调映射的自适应色彩调节算法[J].电子技术应用,2018,44(11):107-110.
[13] WANG J,XU D,LANG C,et al.An adaptive tone mapping method for displaying high dynamic range images[J].Journal of Information Science and Engineering,2010,26(3):977-990.
[14] 李大军,杜神斌,郭丙轩,等.自适应双边滤波的Retinex图像增强算法[J].电子技术应用,2018,44(3):117-121.
[15] THAI B C,MOKRAOUI A,MATEI B.Contrast enhancement and details preservation of tone mapped high dynamic range images[J].Journal of Visual Communication and Image Representation,2019,58:589-599.
[16] 刘朝涛,张雪佼.基于图像处理的疲劳驾驶预警研究[J].电子技术应用,2019,45(8):104-108.
[17] DUAN J,BRESSAN M,DANCE C,et al.Tone-mapping high dynamic range images by novel histogram adjustment[J].Pattern Recognition,2010,43(5):1847-1862.
[18] CHIU Y H,LIANG C C,CHEN Y C,et al.Accurate-gray-level and quick-response driving methods for high-performance electrowetting displays[J].Journal of the Society for Information Display,2011,19(11):741-748.
[19] LUO Z J,ZHANG W N,LIU L W,et al.Portable multigray scale video playing scheme for high-performance electrowetting displays[J].Journal of the Society for Information Display,2016,24(6):345-354.
[20] SURESHKUMAR P,BHATTACHARYYA S S.Display applications of electrowetting[J].Journal of Adhesion Science and Technology,2012,26(12-17):1947-1963.
[21] NAVARRO L,DENG G,COURBEBAISSE G.The symmetric logarithmic image processing model[J].Digital Signal Processing,2013,23(5):1337-1343.
[22] BAOPING W,JIANJUN M A,ZHAOXUAN H A N,et al.Adaptive image enhancement algorithm based on fuzzy entropy and human visual characteristics[J].Journal of Systems Engineering and Electronics,2018,29(5):1079-1088.
[23] 冯清枝,王丹.基于LIP模型和CLAHE的低照度图像增强算法[J].光电技术应用,2018,33(5):31-36.
[24] PANETTA K A,WHARTON E J,AGAIAN S S.Human visual system-based image enhancement and logarithmic contrast measure[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B(Cybernetics),2008,38(1):174-188.
[25] 褚江,陈强,杨曦晨.全参考图像质量评价综述[J].计算机应用研究,2014,31(1):13-22.
作者信息:
李甜甜1,2,林珊玲1,2,林志贤1,2,郭太良1,2,唐 彪3
(1.福州大学 平板显示技术国家地方联合工程实验室,福建 福州350116;
2.福州大学 物理与信息工程学院,福建 福州350116;
3.华南师范大学 华南先进光电子研究院 广东省光信息材料与技术重点实验室,广东 广州510006)