多重注意力双向对比学习方法用于未配对的图像对图像翻译

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 人工智能的人工智能

背景情况:

• 未配对的图像对图像翻译 (I2IT) 旨在在不同领域之间映射图像.
• 现有的对比式学习方法与特征变化和相互依赖性作斗争,导致不稳定和边缘模糊.

研究的目的:

• 提出一种新的方法,MabCUT,用于未配对的I2IT,克服了以前方法的局限性.
• 为了提高模型的稳定性,并在翻译过程中保留关键的图像特征.

主要方法:

• 开发了一个多注意力双向对比学习框架 (MabCUT).
• 使用具有深度可分离的卷积的域特定嵌入块.
• 实现了像素级多重注意力提取器用于特征选择.
• 在发电机中内置深度可分离的卷积,以增强特征表示.

主要成果:

• 在三个数据集中,MabCUT在未配对的I2IT中展示了质量的提高.
• 该方法成功地保留了基本的源域特征.
• 解决和避免模式与崩相关的图像模糊.

结论:

• MabCUT为未配对的I2IT提供了一个强大的解决方案.
• 拟议的方法提高了翻译质量和功能保存.
• 这项工作有助于实现更稳定,更准确的跨域图像转换.