SSAT++:一个有语义意识和多功能化传输网络,具有局部颜色一致性约束

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 图像处理 图像处理

背景情况:

• 化转移 (MT) 旨在将化从参考应用到目标图像,同时保持目标身份.
• 现有的MT方法在视频中与语义对应,颜色保真和时间一致性作斗争,限制了现实世界的应用.

研究的目的:

• 提出一种新的对称语义感知传输网络 (SSAT++),用于增强化传输.
• 为了提高化的相似性,颜色保真性和视频化传输中的时间一致性.

主要方法:

• 引入了一个功能融合 (FF) 模块,用于整合内容和语义功能.
• 开发了一个对称面具语义转移 (SMST) 模块,用于根据语义对应对准化特征.
• 提出了局部颜色损失以提高颜色保真度,并为视频时间一致性提供了变形模拟.

主要成果:

• 与现有方法相比,SSAT++在化相似性和颜色保真方面表现出卓越的性能.
• 拟议的方法在视频化传输的时间一致性方面取得了显著的改进,减少了闪.
• 在MT和MT-Wild数据集上的实验验证实了SSAT++的有效性和灵活性.

结论:

• SSAT++有效地解决了以前化转移技术的局限性.
• 该网络为图像和视频化传输提供了更好的现实性,语义准确性和时间稳定性.
• 开发的方法为化应用提供了更灵活的控制.