SegGen:一个虚幻引擎5管道,用于生成多模式语义细分数据集

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 数据科学数据科学数据科学

背景情况:

• 收集大规模的注释数据集用于语义细分是昂贵且不切实际的.
• 现有的合成数据生成管道往往缺乏多模式性,多样性或需要大量的手工努力.
• 当前方法的局限性阻碍了强大的语义细分模型的开发.

研究的目的:

• 呈现一个完全自动化的管道,用于生成多样化,多模式的合成数据,用于语义细分.
• 克服手动数据收集和受限制的合成数据生成方法的局限性.
• 为了实现高吞吐量,可扩展和可重复的合成数据生成与最小的人类干预.

主要方法:

• 在虚幻引擎5 (UE5) 中开发了一个自动化管道.
• 集成UE5的程序生成与一个spline-following无人机演员用于数据捕获.
• 产生的RGB和深度图像与像素完美的语义细分标签.

主要成果:

• 创建了一个由1169个样本组成的合成数据集,跨两个模式和七个语义类.
• 证明了管道的可扩展性和快速环境变化能力.
• 训练有素的基准计算机视觉模型在合成数据上,显示成功学习语义表示.

结论:

• 自动化的UE5管道有效地产生多样化,多模式的合成数据用于语义细分.
• 这种方法加速了多式联络感知方面的研究,并提供了可扩展,可重复的基准.
• 基于游戏引擎的合成数据生成对推进语义细分模型具有重大潜力.