通过金字塔双重非局部注意力进行无监督的深度标本色化

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 图像处理 图像处理

背景情况:

• 以示例为基础的色化旨在将参考图像的颜色应用于灰度目标图像,保留语义内容和色彩风格.
• 现有的方法难以有效地利用语义色彩信息并将其集成到目标图像中,通常由于单阶段架构而失去空间细节.

研究的目的:

• 开发一种先进的基于实例的色化策略,克服当前方法的局限性.
• 从参考图像中增强全球色彩风格和语义信息的利用.
• 改进融合机制,以获得更好的语义一致性和细节保存.

主要方法:

• 提出了一个示例性的色化策略,利用金字塔式的双重非局部注意网络来捕捉远程依赖和多尺度的相关性.
• 实现了对称分支,以便在目标图像和参考图像之间进行特征对齐,加上双向非局部融合策略.
• 采用无监督学习方法与混合监督 (伪配对和未配对).

主要成果:

• 与现有的最先进的技术相比,拟议的方法在照片现实的色彩化方面表现出了卓越的性能.
• 金字塔双非局部注意网络有效地利用多尺度的相关性和远程依赖性来改善色彩传输.
• 双向融合策略确保了语义一致性,并提高了彩色图像的视觉质量.

结论:

• 开发的示例色彩化策略在生成视觉上可信和语义上一致的彩色图像方面取得了重大进展.
• 新的网络架构和无监督学习方法为具有挑战性的色化任务提供了强大的解决方案.
• 这种方法为基于样本的图像彩色化中的照片现实性结果设定了新的基准.