基于模型的生成融合,以改善红外图像的短拍语义细分

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 图像处理 图像处理

背景情况:

• 红外 (IR) 图像对自动驾驶,消防安全和防御至关重要.
• 红外图像的语义细分具有挑战性,因为数据稀缺,对比度低,以及新型类的出现.
• 对于IR图像而言,现有的少数镜头分割 (FSS) 模型通常需要配对可见RGB数据,这在许多应用中是不切实际的.

研究的目的:

• 开发新的策略,用于红外 (IR) 图像的少数拍摄细分 (FSS),而不依赖于配对的可见RGB数据.
• 解决IR图像语义细分方面的挑战,包括数据稀缺性和有限的对比度.
• 在现实世界的红外成像场景中提高FSS模型的性能.

主要方法:

• 使用生成建模来合成辅助数据以增强通道信息和用于增强的IR数据.
• 开发了一个新的融合组合模块,以整合不同的模式,并改善支持和查询集之间的关系.
• 采用生成技术来克服数据稀缺性和有限的对比度在FSS的IR图像.

主要成果:

• 拟议的方法成功地在没有配对的RGB数据的情况下在IR图像上执行少数镜头细分.
• 合成的辅助数据提高了FSS模型捕捉支持和查询集之间的关系的能力.
• 红外数据合成有效地解决了数据稀缺问题,从而提高了细分精度.
• 新型融合组合模块通过整合多模式信息进一步提高了性能.

结论:

• 开发的生成建模和融合技术为红外图像的少数镜头细分提供了强大的解决方案.
• 这些策略有效地克服了现有的FSS模型的局限性,特别是对RGB数据进行配对的需求.
• 该方法在各种IR数据集上显示出与最新方法相比的显著改进,从而使IR图像分析的应用范围更广泛.