2016, Vol. 38
Issue (4): 303-307
2. 上海理工大学 光电信息与计算机工程学院, 上海 200093
2. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China
图像融合旨在将不同图像的信息进行综合, 以便进一步的理解和处理。20世纪90年代以来, 图像融合技术在军事探测、医疗成像、图像水印等方面都有着广泛的应用[1]。通常情况下, 红外传感器检测到发热的区域一般是人们关注的目标物体, 但其保持图像细节的能力较差, 而可见光图像则包含丰富的细节信息, 因而两者互补可以有效综合信息。
较为常用图像融合方法是基于多尺度分解的思路, 包括拉普拉斯金字塔变换(LP)[2]、双树复小波变换(DTCWT)[3]、非下采样轮廓波变换(NSCT)[4]、Curvelet变换[5]等方法。这些方法需要进行上采样和下采样, 使得图像中的细节容易被平滑。NSCT具有多尺度、多方向选择性、多分辨率分析和平移不变性的特点。但变换过程中各部分的系数选择仍是一个问题, 计算速度也相对较慢。
随着神经科学、心理学等学科的发展, 在研究人类视觉机制的过程中视觉显著性和视觉注意的概念被提出。观察者能够利用视网膜中央凹的高分辨率感知机构, 主动地探索环境中的重要视觉信息[6], 即人眼视觉系统(human visual system, HVS)。视觉显著性反映的是视觉系统从场景中提取一系列视觉信息的能力, 其能够像滤波器一样选择感兴趣的信息。由于视觉显著性的提取能够自动化地代替人眼视觉系统快速准确的搜索到场景中的显著目标, 其产生的显著性图能够反映人眼视觉系统对不同场景的关注程度, 这些都使得视觉显著性的研究具有广阔的应用前景。
在上述研究的基础上, 国内外科研人员提出了利用视觉显著性进行图像融合的方法。华中科技大学的陈艳菲等人通过在红外图像和可见光图像中分别提取视觉显著性的方法对双通道图像进行融合, 取得了优于传统图像融合方法的结果[7]。浙江大学的研究人员也结合视觉显著性与NSCT进行图像融合[8], 也取得了较好的成果。
受到上述方法启发, 本文提出了中心周围像素差异计算局部显著性图, 并变化局部窗口尺寸以实现图像的不重叠的显著性提取, 能够有效的凸显不同尺寸目标的信息; 在进一步增强显著性图的基础上, 实现了基于显著性图的红外与可见光图像的融合。通过实验结果的对比分析, 本文方法融合效果好, 计算速度快。
1 视觉显著性图提取对于图像, 通常以视觉显著性图来量化表示关注程度的不同, 该图的值分布在[0, 1]之间, 值越大表明人眼越关注该区域。当前, 主要利用计算机算法模拟人眼来产生视觉显著性图。因为中心周围像素差异越大的区域, 人眼关注的程度越高, 所以引入局部窗口概念, 使用该思路计算局部显著性图。
对于某一幅图像P, 设它对应的显著性图为Sal_P。那么, 取一个以(x0, y0)为中心像素, 大小为i×j的矩形区域, 定义(x0, y0)处的像素值为P(x0, y0), 显著性值为Sal_P(x0, y0), 计算式为
|
(1) |
|
(2) |
式中:Mean(ij)为该区域内所有点的像素平均值, 该窗口i×j的位置在图像中是任意的, 那么将窗口在整幅图像内逐个像素滑动, 如图 1所示, 最终获得与原图P等尺寸的的显著性图Sal_P。局部窗口的尺寸对应于图像中同等尺寸的目标尺寸, 取多个尺寸不同窗口可以覆盖不同尺寸的目标。因此通过选择窗口尺寸以重复获得不同结果的显著性图, 再将各显著性图叠加并归一化处理以保证显著性图的准确性, 也能辅助实现各窗口边缘处平滑过渡。
|
图 1 以i×j大小窗口计算图像局部显著性 Figure 1 The size of i×j window to calculate the local saliency map. |
可见光图像(VI)往往拥有丰富的细节成分, 红外图像(IR)则凸显热辐射强的区域, 但对其他区域的细节保留较差。如果融合时红外图像的低热辐射区域参与融合, 会引入冗余信息导致可见光图的部分细节信息丢失, 融合效果较差, 因此需要抑制低热辐射区域的显著性, 增强高热辐射区域显著性。对于显著性图及红外图像中同坐标的任意一点(x, y)有
|
(3) |
式中:S_IRmap为通过节1所述方法获得的红外图像显著性图, IR为红外图像, F_IRmap为经过增强后的红外图像显著性图。通过显著性图与红外图像相乘能够有效的抑制低热辐射区域的显著性。同时为了增强保留的显著性区域, 用图 2所示的对数变换模型对显著性图进行灰度拉伸。
|
图 2 非线性灰度变换, 对数变换 Figure 2 Nonlinear gradation transformation and logarithmic transformation |
在本文方法中, 根据红外图像的显著性进行融合, 可以有效地避免红外图像中冗余信息的引入。红外图像的显著性图遵循以下融合规则
|
(4) |
式中:Ffusion为融合结果, IR为红外图像, 其中每个点的融合权重值为F_IRmap中对应点显著性值, VI为可见光图像, 其对应点权重值为(1-Ffusion)。实验证明按权重融合能够有效地将红外图像中显著性区域融合到可见光图像中, 同时尽可能多的保留可见光图的细节信息, 使可见光图像信息不被破坏的同时凸显出红外图像的信息。按权重进行融合计算, 过程简单、计算量小, 能够有效地减少运算时间。
3 实验与分析本文实验采用的图像来自国际通用数据库, 两组图像如图 3所示, 图 3(a)与(b)为测试图像1的红外图与可见光图, 像素尺寸为320×250;图 3(c)与(d)为测试图像2的红外与可见光图, 像素尺寸为320×320。
|
图 3 测试图像1与测试图像2的红外图与可见光图 Figure 3 Source images 1 and 2, including infrared image and visible image |
在最终的实验对比中, 窗口尺寸选择的规则如下。本文分别选用与原图大小相等的窗口, 长、宽各为原图 1/2大小的窗口, 长、宽各为原图 1/5大小的窗口。基本可以保证显著性图的准确性, 且窗口边缘过度也较为平滑。
本文中使用的对比方法为现在较常见的一些方法, 其中包括拉普拉斯金字塔变换(LP)[2]、低通滤波金字塔变换(RP)[9]、离散小波变换(DWT)[10]、双树复小波变换(DTCWT)[3]、非下采样轮廓波变换(NSCT)[4]、Curvelet变换[5]、平均融合(Average)。为便于比较将基于视觉显著性的算法简称为SF。
所有运算均在同一台电脑上运行, 配置1.6 GHz四核CPU, 6 GB运行内存, 使用MATLAB 2012b。
3.1 融合效果评价采用3种无参考质量评价方法对融合图像进行质量评价, 作为主观评价的对应参考, 这3种无参考的评价方式分别是信息熵, 标准差与空间频率。信息熵是反映一幅图像信息量大小的量, 信息熵越大表明信息量越大, 相对图像质量也就越好。标准差是反映图像对比度的量, 标准差越大表示图像对比越明显, 图像也就更清晰。空间频率是反映一幅图像的活跃程度, 空间频率越大表示图像越活跃, 图像融合质量也相对较好。
3.2 融合结果与分析各算法融合结果如图 4与图 5所示。从主观上观察, SF即本文方法给出融合图像视觉效果最佳, 保留了较多的原始图像的信息, 视觉对比也最好。
|
图 4 测试图像1各算法融合结果对比 Figure 4 The comparison of several fusion algorithms in test image 1 |
|
图 5 测试图像2各算法融合结果对比 Figure 5 The comparison of several fusion algorithms in test image 2 |
本文采用了信息熵, 标准差与空间频率三个融合评价的指标, 此外, 运算时间也是衡量一个算法优劣的重要指标, 运算时间越短则运算效率越高, 算法越好。
客观评价数据如表 1与表 2所示。根据两组客观评价数据的对比, 本文所采用的方法融合结果的3个客观评价指标更佳, 证明其在信息量、清晰度以及空间频率等指标方面优于其他算法。在对比数据中, 发现低通滤波金字塔(RP)的空间频率值也比较大, 仅次于SF方法; 综合融合结果图以及空间频率的数学概念分析, 这个评价值较高的原因在于低通滤波算法无法剔除高通噪声, 造成融合结果空间频率值较大。此外, 从运行时间上进行对比, 发现本文算法也具有明显优势, 仅次于最简单的平均融合方法。
|
表 1 测试图 1的各方法客观评价结果 Table 1 Objective evaluation results for Image 1 |
|
|
表 2 测试图 2各方法客观评价结果 Table 2 Objective evaluation results for Image 2 |
本文根据红外图像与可见光图的特点, 提出一种针对红外图像视觉显著性区域的双波段图像融合算法。利用人类视觉系统的注意机制提取红外图像的显著性图, 再经过增强等处理将显著性图作为可见光图与红外图像融合的权值, 对可见光图与红外图进行加权融合。根据实验对比分析, 本文所采用算法能够有效的保留可见光图像的细节成分、融合红外图像的显著性区域同时抑制红外图像冗余信息的引入。结果表明, 本文方法能够使融合图像具有较好的视觉效果, 客观评价值高, 运算速度快。在接下来的工作中, 需要对该算法作进一步的改进优化, 以适应不同的场景需求, 并进一步实现硬件化。
| [1] | 李茜, 郭佳, 郭小云. 基于边缘检测小波变换的红外与可见光图像融合方法[J]. 光学仪器 , 2013, 35 (1) :18–21, 29. |
| [2] | BUTT P, ADELSON E. The Laplacian pyramid as a compact image code[J]. IEEE Transactions on Communications , 1983, 31 (4) :532–540. DOI:10.1109/TCOM.1983.1095851 |
| [3] | KINGSBURY N. Image processing with complex wavelets[J]. Philosophical Transactions of the Royal Society of London A:Mathematical, Physical and Engineering Sciences , 1999, 357 (1760) :2543–2560. DOI:10.1098/rsta.1999.0447 |
| [4] | DA CUNHA A L, ZHOU J, DO M N.Nonsubsampled contourilet transform:filter design and applications in denoising[C]//IEEE International Conference on Image Processing.Genova:IEEE, 2005, 1:I-749-752. |
| [5] | HARIHARAN H, KOSCHAN A, ABIDI M.The direct use of curvelets in multifocus fusion[C]//Proceedings of the 16th IEEE International Conference on Image Processing.Cairo:IEEE, 2009:2185-2188. |
| [6] | 孙晓帅, 姚鸿勋. 视觉注意与显著性计算综述[J]. 智能计算机与应用 , 2014, 4 (5) :14–18. |
| [7] | 陈艳菲, 桑农, 王洪伟, 等. 基于视觉注意的可见光与红外图像融合算法[J]. 华中科技大学学报:自然科学版 , 2013, 41 (S1) :112–115. |
| [8] | PENG H, FENG H J, ZHAO J F, et al. Multi-frame image fusion method combining spatial-temporal saliency detection and NSCT[J]. Advanced Materials Research , 2012, 403-408 :1927–1932. |
| [9] | VIKRAM T N, TSCHEREPANOW M, WREDE B. A saliency map based on sampling an image into random rectangular regions of interest[J]. Pattern Recognition , 2012, 45 (9) :3114–3124. DOI:10.1016/j.patcog.2012.02.009 |
| [10] | LI M, WU S J.A new image fusion algorithm based on wavelet transform[C]//Proceedings of the 5th International Conference on Computational Intelligence and Multimedia Applications.Xi'an:IEEE, 2003:154-159. |