FusionINV:一种基于扩散的方法,用于多模式图像融合

科学领域:

• 计算机视觉 计算机视觉
• 图像处理 图像处理
• 机器学习 机器学习

背景情况:

• 红外和可见图像有不同的外观,创造域差异.
• 现有的红外和可见图像融合 (IVF) 方法产生具有独特外观的融合图像,挑战预先训练的细分模型等下游应用.
• 由于域差异,难以准确评估融合图像的质量.

研究的目的:

• 提出一种新的试管婴儿方法,FusionINV,可以生成具有可见光外观的融合图像.
• 为了使合图像能够直接应用于现有的机器系统,而无需进行域调整.
• 为了实现无训练的融合,利用先进的图像反转技术.

主要方法:

• FusionINV使用预训练的稳定扩散 (SD) 模型将红外图像反转为噪声特征空间.
• 可见图像特征指导红外图像反转过程,注入可见风格的外观.
• 在SD无声化过程中,一个量身定制的融合规则反复地结合了可见式的红外和可见特征.

主要成果:

• FusionINV产生了与RGB分布紧密结合的融合图像,看起来与可见图像类似.
• 该方法成功地将红外和可见图像中的信息嵌入到噪声特征空间中.
• 生成的融合图像直接适用于下游机器系统.

结论:

• 通过生成可见域融合图像,FusionINV有效地解决了IVF中的域差距.
• 这种没有培训的方法,由图像反转提供动力,在试管婴儿中取得了重大进展.
• 实验结果证实了FusionINV在人类视觉评估和机器感知任务中的卓越性能.