MIGC++:用于图像合成的高级多实例生成控制器

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 在图像中生成多个对象,并精确控制它们的属性和位置是一个具有挑战性的任务.
• 现有的方法与属性泄露,多样化的实例描述以及在代生成过程中保持一致性作斗争.

研究的目的:

• 引入多实例生成 (MIG) 任务,用于生成多个精确控制的图像实例.
• 开发解决MIG关键挑战的新方法,包括属性泄露,多样化的描述和代一致性.

主要方法:

• 为单实例任务提出多实例生成控制器 (MIGC),使用分割与征服策略.
• 引入MIGC++以进行增强的属性控制 (文本/图像) 和位置控制 (框/面具).
• 开发一致的MIG算法,以确保在代实例操作期间的一致性.

主要成果:

• 在COCO-MIG,多式联运MIG,COCO-Position和DrawBench基准上表现出与现有技术相比的显著性能改进.
• 实现对实例位置,属性 (颜色,形状,类别) 和数量的精确控制.
• 验证MIGC,MIGC++和Consistent-MIG在应对MIG挑战中的有效性.

结论:

• 拟议的MIG任务和相关方法 (MIGC,MIGC++,Consistent-MIG) 代表了控制图像生成的重大进展.
• 这些方法提供了强大的解决方案,用于生成具有高保真性和用户指定的控制的多个实例.
• 开发的基准标准有助于在多实例生成领域的未来研究和评估.