ECFuse:用于红外和可见图像融合的边缘一致和相关性驱动的融合框架
Hanrui Chen1,2,3, Lei Deng1,2,3, Lianqing Zhu1,2,3
1Key Laboratory of the Ministry of Education for Optoelectronic Measurement Technology and Instrument, Beijing Information Science & Technology University, Beijing 100192, China.
本研究介绍了ECFuse,这是一种用于红外和可见图像融合 (IVIF) 的新框架. ECFuse有效地结合了跨模式的信息,并保留了纹理,提高了对象检测性能.
科学领域:
- 计算机视觉 计算机视觉
- 图像处理 图像处理
- 人工智能的人工智能
背景情况:
- 红外和可见图像融合 (IVIF) 旨在整合来自不同模式的互补信息.
- 现有的方法经常在融合跨模式信息和防止纹理损失方面扎.
研究的目的:
- 为改进IVIF提出一个新的边缘一致和相关性驱动的核聚变框架 (ECFuse).
- 为了应对纹理保护和跨模式信息融合方面的挑战.
主要方法:
- 该框架采用多尺度转换 (MST) 来将图像分解为基础层和细节层.
- 一个边缘一致性融合模块在细节层中保持了边缘和纹理一致性.
- 一个以关联驱动的深度学习网络将全球和本地特征融合到基层.
主要成果:
- 与传统和深度学习方法相比,ECFuse在TNO,LLVIP和M3FD数据集上表现优越.
- 该框架有效地保留了融合图像中的丰富边缘和纹理.
- ECFuse显著提高了下游红外可见物体检测性能.
结论:
- 拟议的ECFuse框架为红外和可见图像融合提供了有效的解决方案.
- ECFuse成功地克服了在纹理保存和跨模式融合方面现有方法的局限性.
- 该框架在增强对象检测任务方面具有实际应用.
更多相关视频
06:51Confocal Microscopy Reveals Cell Surface Receptor Aggregation Through Image Correlation Spectroscopy
Published on: August 2, 2018
14:12Dual-Color Fluorescence Cross-Correlation Spectroscopy to Study Protein-Protein Interaction and Protein Dynamics in Live Cells
Published on: December 11, 2021
相关概念视频
IR Frequency Region: Fingerprint Region
Infrared (IR) Spectroscopy: Overview
Different compounds display unique properties due to their...
Association Areas of the Cortex
Prefrontal Association Area: This area is located in the frontal lobe and is involved in planning, decision-making, and moderating social behavior. It connects with primary motor areas,...
IR Spectrometers
Flame Photometry: Overview
X-ray Imaging
