MaeFuse:通过指导培训通过红外和可见图像融合,通过预训练的蒙面自动编码器传输全方位特征

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 图像处理 图像处理

背景情况:

• 现有的图像融合方法往往需要下游任务培训,用于高级特征提取.
• 这可能是计算上昂贵的,并且可能不会优化地保存低级别的细节.
• 在有效地整合多式联运特征,同时减轻特定领域的工件方面存在差距.

研究的目的:

• 介绍MaeFuse,一个用于红外和可见图像融合 (IVIF) 的新型自动编码模型.
• 使用预训练的蒙面自动编码器 (MAE) 编码器,以实现高效的多层次特征提取.
• 制定指导式培训策略,以解决领域差距和MAE诱导的文物.

主要方法:

• 使用预训练的蒙面自动编码器 (MAE) 编码器进行全面的特征提取.
• 制定了一个指导式培训策略,以使核聚变层与MAE特征空间保持一致.
• 从红外和可见模式集成的功能,以保存模式特定的细节.

主要成果:

• MaeFuse证明了低级重建和高级视觉任务的有效特征提取.
• 指导式培训策略成功地将领域差距和封锁效应降到最低.
• 该模型在多个公共数据集中实现了令人印象深刻的融合性能,保留了丰富的细节.

结论:

• MaeFuse提供了一种具有成本效益和高效的红外和可见图像融合 (IVIF) 方法.
• 预训练的MAE编码器和指导式培训策略显著提高了融合质量.
• 该方法在图像融合应用中提供了新的视角和强大的性能.