MaeFuse:通过指导培训通过红外和可见图像融合,通过预训练的蒙面自动编码器传输全方位特征
概括
MaeFuse是一个新的自动编码器模型,通过利用预训练的蒙面自动编码器 (MAE) 编码器来增强红外和可见图像融合 (IVIF). 这种方法可以实现高质量的融合,降低计算成本和改进功能集成.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 图像处理 图像处理
背景情况:
- 现有的图像融合方法往往需要下游任务培训,用于高级特征提取.
- 这可能是计算上昂贵的,并且可能不会优化地保存低级别的细节.
- 在有效地整合多式联运特征,同时减轻特定领域的工件方面存在差距.
研究的目的:
- 介绍MaeFuse,一个用于红外和可见图像融合 (IVIF) 的新型自动编码模型.
- 使用预训练的蒙面自动编码器 (MAE) 编码器,以实现高效的多层次特征提取.
- 制定指导式培训策略,以解决领域差距和MAE诱导的文物.
主要方法:
- 使用预训练的蒙面自动编码器 (MAE) 编码器进行全面的特征提取.
- 制定了一个指导式培训策略,以使核聚变层与MAE特征空间保持一致.
- 从红外和可见模式集成的功能,以保存模式特定的细节.
主要成果:
- MaeFuse证明了低级重建和高级视觉任务的有效特征提取.
- 指导式培训策略成功地将领域差距和封锁效应降到最低.
- 该模型在多个公共数据集中实现了令人印象深刻的融合性能,保留了丰富的细节.
结论:
- MaeFuse提供了一种具有成本效益和高效的红外和可见图像融合 (IVIF) 方法.
- 预训练的MAE编码器和指导式培训策略显著提高了融合质量.
- 该方法在图像融合应用中提供了新的视角和强大的性能.


