玩3D人类恢复的游戏

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 人类姿势和形状估计

背景情况:

• 3D人体恢复 (姿势和形状估计) 已经取得了显著的进展.
• 现有的数据集在规模和多样性上是有限的,因为动作捕捉成本很高.

研究的目的:

• 介绍GTA-Human,这是使用GTA-V游戏引擎生成的大规模3D人类数据集.
• 调查使用游戏数据用于3D人类恢复的有效性和洞察力.

主要方法:

• 使用GTA-V生成大规模的人类序列,并自动注释3D基本真相,使用GTA-V.
• 在GTA-Human数据集上训练有素的基线和高级模型.
• 对数据规模,域差距和模型灵敏度进行了系统研究.

主要成果:

• 一个简单的基线训练在GTA-人类超越了复杂的方法.
• 合成数据有效地补充了现实世界的室内数据,解决了领域的差距.
• 数据集规模和数据密度显著影响模型性能.
• 在GTA-Human中丰富的SMPL参数标签提供了强大的监督.
• 福利扩展到更大的模型,如CNN和变压器.

结论:

• 游戏生成的数据是大规模3D人类恢复的可行和有效资源.
• 了解域间隙和数据混合策略对于利用合成数据至关重要.
• GTA-Human数据集为推进3D人类恢复研究提供了一个可扩展的解决方案.