交互式空间频率融合Mamba用于多模式图像融合.
概括
本研究介绍了用于多模式图像融合的交互空间频率融合马巴 (ISFM). 通过互动地整合空间和频域信息,ISFM增强了图像融合,优于现有的方法.
科学领域:
- 计算机视觉 计算机视觉
- 图像处理 图像处理
- 人工智能的人工智能
背景情况:
- 多模态图像融合 (MMIF) 将来自不同来源的图像结合起来,以保存细节和信息.
- 现有的方法通常使用基本的空间频率融合,没有交互式增强.
- 结合频域信息可以改善MMIF中的空间特征表示.
研究的目的:
- 为先进的MMIF提出一个新的交互空间频率融合Mamba (ISFM) 框架.
- 通过互动地整合空间和频域信息来增强特征提取和融合.
- 通过新的融合战略,提高MMIF系统的性能.
主要方法:
- 开发了一种特定模式的提取器 (MSE),用于高效的远程特征提取.
- 引入了多尺度频率融合 (MFF) 以适应性集成频率组件.
- 提出了一个交互式空间频率融合 (ISF) 模块,以引导空间特征与频率信息.
主要成果:
- 在6个MMIF数据集中,ISFM框架表现出卓越的性能.
- 实验结果证实了拟议的交互融合方法的有效性.
- 与当前最先进的MMIF方法相比,ISFM取得了更好的结果.
结论:
- 拟议的ISFM框架在多模式图像融合方面取得了重大进展.
- 空间和频率信息的交互集成对于提高核聚变性能至关重要.
- ISFM为结合多模式图像数据提供了强大而有效的解决方案.


