具有适应层实例规范化的渐进无监督生成注意网络,用于图像对图像翻译

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 无监督的图像对图像翻译利用生成对抗网络 (GAN) 来从未配对的数据中学习域映射.
• 当前最先进的方法与显著的形状转换和多样化的目标实例作斗争,经常产生视觉工件.
• 现有的基于注意力的模型未能在图像翻译任务中充分解决几何转换.

研究的目的:

• 提出一种新的框架,即带有自适应层实例规范化 (PRO-U-GAT-IT) 的渐进无监督生成注意网络,用于无监督的图像到图像翻译.
• 解决现有方法在处理涉及实质性形状变化和多样化实例的具有挑战性的翻译任务方面的局限性.

主要方法:

• 开发PRO-U-GAT-IT框架,包括注意力机制和自适应层实例规范化.
• 专注于使整体形状转换能够超越低级特征转换.
• 使用未配对的图像数据来学习源到目标域映射.

主要成果:

• 与现有的最先进的模型相比,PRO-U-GAT-IT在无监督的图像到图像翻译方面表现出卓越的性能.
• 该框架成功处理需要广泛的几何和形状修改的图像.
• 跨多个数据集的实验验证证证了拟议方法的有效性.

结论:

• PRO-U-GAT-IT为复杂的无监督图像到图像翻译任务提供了强大的解决方案,特别是具有显著几何变化的图像.
• 新的框架克服了以往基于注意力和GANs处理形状转换的方法的局限性.
• 拟议的方法通过实现更准确和多样化的图像翻译来推动该领域的进步.