RefineFuse:一个端到端的网络,用于多模态图像的多尺度精细融合

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 图像处理 图像处理

背景情况:

• 深度学习已经推进了多模式图像融合,旨在将不同图像类型的信息结合起来.
• 现有的核聚变方法难以捕捉复杂的细节,并且通常对恶劣的条件 (如光线不良) 敏感.
• 需要改进的融合技术,可以保存细节和语义上下文.

研究的目的:

• 提出 RefineFuse,一个新的多规模交互网络,用于增强多模式图像融合.
• 在融合过程中改善源图像中复杂细节和语义信息的保存.
• 开发一种能对复杂场景和各种成像方式稳固的融合方法.

主要方法:

• RefineFuse采用一个多尺度交互网络架构.
• 它使用基于双重注意力的模块在像素域 (浅特征) 中进行交叉模式特征合.
• 全球注意力机制用于语义领域 (深度特征) 的交叉模式特征交互,将深度信息逐渐整合到浅层特征中.

主要成果:

• RefineFuse成功地融合了红外,可见和医疗图像,产生了高质量的结果.
• 该网络有效地平衡和利用本地详细特征和全球语义信息.
• 与现有方法相比,在保存复杂细节方面表现出卓越的性能.

结论:

• RefineFuse在多模式图像融合质量和细节保存方面提供了显著的改进.
• 拟议的网络架构和注意力机制有效地处理复杂的场景和各种模式.
• RefineFuse显示出下游应用的潜力,例如对象检测.