基于大型图像编辑模型的指令驱动的多天气图像翻译

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 图像处理 图像处理

背景情况:

• 天气图像翻译对于数据增强至关重要,但在昂贵的样本采集方面面临挑战.
• 现有的基于生成对抗网络 (GAN) 的方法缺乏泛化,产生不真实和不多样化的图像.
• 扩散模型在视觉任务中表现出卓越的性能,超过了GANs.

研究的目的:

• 开创用于天气图像翻译的扩散模型,使用一种新的指令驱动多天气翻译 (InstructWT) 框架.
• 为了提高翻译天气图像的真实性和多样性.
• 在各种天气条件下提高语义细分算法的性能.

主要方法:

• 开发了基于 InstructPix2Pix 大图像编辑模型的 InstructWT,利用其零拍摄泛化.
• 实现了用于用户友好的指令集的提示工程,并引入了天气强度因子以进行精确的控制.
• 利用基于天气相关性的混合编辑和基于雨水和雪的物理染来保存场景布局并增强现实主义.

主要成果:

• 在真实性和忠实性方面,instructWT在Cityscapes数据集上显著优于现有的方法.
• 实现高对比性语言图像预训练 (CLIP) 图像嵌入共弦相似性 (0.8302) 和定向CLIP相似性 (0.1598).
• 用 InstructWT 增强数据微调的语义细分算法在复杂的天气场景中显示出显著的性能改进.

结论:

• InstructWT代表了基于扩散的天气图像翻译的重大进步,提供了更好的现实性和多样性.
• 该方法有效地解决了基于GAN的方法的局限性,并增强了合成数据对下游任务的实用性.
• InstructWT显示出强大的应用潜力,需要现实的多天气图像生成和强大的计算机视觉模型.