通过基于扩散模型的盒到图像生成的对象检测数据合成

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 扩散模型显示了增强对象检测数据集的前景.
• 目前的方法难以生成复杂的场景,多类对象和遮蔽.

研究的目的:

• 推出ODGEN,一种用于生成高质量,边界框条件图像的新方法,用于对象检测数据合成.
• 提高复杂场景生成中的可控性和质量.

主要方法:

• 在特定领域数据集上微调预训练的扩散模型.
• 使用合成的视觉提示与空间限制和文本描述进行控制.
• 开发一个数据集综合管道用于评估.

主要成果:

• 在复杂和特定领域的场景中,ODGEN表现出了强大的稳定性.
• 结合ODGEN生成的数据,物体检测性能提高了高达25.3%mAP@.50:.95.
• 在一般领域实现了高达5.6%的mAP@.50:.95优势,而不是现有的方法.

结论:

• ODGEN有效地促进了对象检测的数据合成,特别是在具有挑战性的场景中.
• 提出的方法显著提高了像YOLOv5和YOLOv7.7这样的物体探测器的性能.
• 稳定盒扩散是一种在大型数据集上训练的一般模型,涵盖了许多对象类别.