通过以颜色特征选择为指导的对比学习,对未配对的红外图像进行跨域色化,以注意力为指导

科学领域:

• 计算机视觉 计算机视觉
• 图像处理 图像处理
• 机器学习 机器学习

背景情况:

• 红外成像对于低光条件至关重要,但产生灰度图像缺乏语义细节和颜色.
• 现有的红外彩色化方法在准确的语义色彩预测和细节保存方面扎.
• 获得配对的红外和可见图像用于培训是一个重大挑战.

研究的目的:

• 开发使用未配对数据进行红外图像彩色化的一种无监督的跨域方法.
• 为了提高语义准确性,细节保存和红外图像中的颜色风格匹配.
• 克服现有的色彩化技术和配对数据采集的局限性.

主要方法:

• 使用对比式学习在未经监督的情况下在未配对的红外和可见图像之间进行跨域映射.
• 引入用于导向红外图像着色的颜色特征选择注意模块.
• 使用剩余融合注意网络 (RFANet) 作为增强特征表示的生成器.
• 为结构内容的一致性和颜色风格匹配设计一个联合的全球损失函数.

主要成果:

• 拟议的方法在无监督的跨域红外图像着色方面实现了卓越的性能.
• 实验评估表明,颜色质量,语义准确性和细节保存性得到了提高.
• RFANet生成器和关节损失功能有效地改善了特征表示和风格匹配.

结论:

• 开发的无监督跨域彩色化技术有效地解决了红外成像方面的局限性.
• 该方法提供了一种可行的解决方案,用于在具有挑战性的照明条件下增强视觉感知.
• 这种方法在红外图像处理和分析领域取得了重大进展.