用户登录
期刊信息
  • 主管单位：
  • 中国科学技术协会
  • 主办单位：
  • 中国仪器仪表学会、上海光学仪器研究所、中国光学学会工程光学专业委员会
  • 主  编：
  • 庄松林
  • 地  址：
  • 上海市军工路516号上海理工大学《光学仪器》编辑部
  • 邮政编码：
  • 200093
  • 联系电话：
  • 021-55270110
  • 电子邮件：
  • gxyq@usst.edu.cn
  • 国际标准刊号：
  • 1005-5630
  • 国内统一刊号：
  • 31-1504/TH
  • 邮发代号：
  • 单  价：
  • 15.00
  • 定  价：
  • 90.00
排行榜
下载排行 点击排行 被引频次
友情链接
FE-Fusion：红外和可见光图像特征提取融合网络
FE-Fusion: infrared and visible image feature extraction and fusion network
投稿时间：2025-01-26  
DOI：10.3969/j.issn.1005-5630.202501260015
中文关键词:  图像融合  卷积神经网络  Transformer模型  注意力机制
英文关键词:image fusion  convolutional neural network  Transformer model  attention mechanism
基金项目:国家重点研发计划“基础科研条件与重大科学仪器设备研发”重点专项（2022YFF0706003）
作者单位E-mail
景李 上海理工大学 光电信息与计算机工程学院,上海 200093  
张荣福 上海理工大学 光电信息与计算机工程学院,上海 200093 zrf@usst.edu.cn 
夏春蕾 上海理工大学 光电信息与计算机工程学院,上海 200093  
魏辉光 上海理工大学 光电信息与计算机工程学院,上海 200093  
摘要点击次数: 5
全文下载次数: 5
中文摘要:
      红外与可见光图像融合的目标是生成同时包含红外热辐射信息以及可见光纹理、颜色信息的图像。现有融合方法大多需要对可见光图像进行色域转换，很少探索直接对多通道数据处理的方式；且在网络设计上多侧重于提升特征提取能力，却忽视了融合策略设计的重要性。针对上述问题，本文提出一种新型融合网络，命名为FE-Fusion。在特征提取阶段，通过可逆卷积注意力模块和多尺度Transformer模块协同工作，挖掘输入图像的局部和全局特征。在融合阶段，设计交叉融合模块，利用不同模态图像间的相关性，强化输出图像的特征表征能力。在损失函数设计上，引入多通道梯度损失与强度损失，以更好地平衡融合结果中的纹理信息和颜色信息。在MSRS和M3FD数据集上进行了验证实验，结果表明， FE-Fusion在各项评价指标上均优于现有主流代表性方法及当前先进的图像融合方法。
英文摘要:
      Infrared and visible image fusion aims to generate a fused image that contains both the thermal radiation information of infrared images and the texture and color information of visible images. However, existing fusion methods require color space conversion for visible images and rarely explore how to directly process multi-channel data. Moreover, in network design, they focus on enhancing feature extraction capabilities while neglecting the importance of fusion strategies. To address these issues, this paper proposes a novel fusion network named FE-Fusion. In the feature extraction stage, the invertible convolution attention module (ICAM) and the multi-scale transformer module (MTRM) worked in coordination to extract local and global features from the input images. In the fusion stage, the designed cross fusion module (CFM) exploited the correlation between different modal images to enhance feature representation in the output images. In the loss function design, a multi-channel gradient loss and an intensity loss were introduced to balance the texture and color information of the fused images. Experiments on the MSRS and M3FD datasets demonstrate that FE-Fusion outperforms other representative and state-of-the-art image fusion methods across all evaluation metrics.
HTML   查看全文  查看/发表评论  下载PDF阅读器
关闭

版权所有：
主管单位：中国科学技术协会 主办单位：中国仪器仪表学会、上海光学仪器研究所、中国光学学会工程光学专业委员会 主　　编：庄松林
地　　址：上海市军工路516号上海理工大学《光学仪器》编辑部 邮政编码：200093
技术支持：北京勤云科技发展有限公司