域可扩展的未配对图像翻译通过潜空间定

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 不配对的图像对图像翻译 (UNIT) 便于在使用非配对数据的视觉领域之间进行映射.
• 现有的UNIT方法难以纳入新领域,往往需要完全重新培训.
• 这种局限性阻碍了当前UNIT模型的可扩展性和适应性.

研究的目的:

• 开发一个可扩展域的UNIT方法,有效地整合新的视觉领域.
• 允许将UNIT模型扩展到新的领域,而无需微调现有组件.
• 为了克服当前未配对的图像到图像翻译技术中的再培训瓶.

主要方法:

• 提出了一种新的域可扩展的UNIT方法,称为"隐藏空间定".
• 通过使用冷的生成对抗网络 (GANs) 将来自不同域的图像定到共享的隐藏空间中.
• 学习轻量级编码器和回归模型来重建单域图像,保持现有的域知识.

主要成果:

• 在不需要重新培训编码器和解码器的情况下,有效地扩展到新的视觉领域.
• 通过灵活的学习组件组合,在推理过程中在任何两个域之间实现任意图像翻译.
• 在各种数据集的标准和域可扩展的UNIT任务中超越了最先进的方法.

结论:

• 隐藏空间定提供了一个可扩展和高效的解决方案,用于未配对的图像到图像翻译.
• 该方法有效地解决了将新领域纳入现有UNIT框架中的局限性.
• 这种方法显著提高了跨领域图像翻译的灵活性和性能.