replicAnt:使用虚幻引擎在复杂环境中生成动物的注释图像的管道

科学领域:

• 计算机视觉 计算机视觉
• 动物行为 动物行为
• 机器学习 机器学习

背景情况:

• 深度学习计算机视觉方法正在推动动物行为研究.
• 转移学习辅助非模型物种,但需要大量的手动注释,在受控环境中表现最好.

研究的目的:

• 开发一个可配置的管道,用于生成用于动物行为分析的大型,可变的训练数据集.
• 克服手动注释的局限性,提高计算机视觉模型在该领域的性能和稳定性.

主要方法:

• 开发了replicAnt,一个使用虚幻引擎5和Python创建合成数据的管道.
• 在程序生成的环境中放置3D动物模型,以自动注释图像.
• 使用消费级硬件进行数据生成.

主要成果:

• 来自replicAnt的合成数据显著减少了对基准绩效的手动注释需求.
• 在动物检测,跟踪,姿势估计和语义细分方面取得了改进.
• 证明了主体特异性和域不变性的增加,增强了模型的稳定性.

结论:

• ReplicAnt有效地生成合成数据,减少计算机视觉对动物行为的手动注释.
• 管道增强了模型的性能,稳定性,并且在某些情况下可能消除了手动注释的需要.
• 代表了深度学习计算机视觉工具在现场研究中应用的重大进步.