FLAG3D++:一个对3D健身活动理解与语言教学的基准

科学领域:

• 计算机视觉 计算机视觉
• 人类行动 了解 了解 人类行动
• 机器学习 机器学习

背景情况:

• 现有的人类行动理解数据集缺乏丰富的标签,语言指令,高质量的3D数据,以及为体育分析等现实世界的应用提供多样化的环境.
• 目前的基准不足以对健身活动进行详细分析,阻碍了需要精确了解运动的领域的进展.

研究的目的:

• 介绍FLAG3D++,这是一个大规模的3D健身活动理解基准,包含60个类别的180K个序列,以及详细的语言说明.
• 提出新的应用:语言引导的重复行动计数 (L-RAC) 和语言引导的行动质量评估 (L-AQA).
• 为语言和骨架序列数据的有效融合提出一个层次语言引导图形卷积网络 (HL-GCN).

主要方法:

• 开发的FLAG3D++具有精细的时间注释,专业的语言说明,密集的3D MoCap数据和多样化的环境资源.
• 实施L-RAC和L-AQA任务,使用语言描述来计算动作重复和评估动作质量.
• 拟议的HL-GCN模型采用早期的语言和层级骨架特征的融合,通过图形卷积层进行交叉模式对齐.

主要成果:

• 拟议的HL-GCN模型在L-RAC和L-AQA任务中实现了卓越的性能.
• FLAG3D++数据集展示了对挑战的重大研究价值,包括动态人体网状回收和跨领域行动识别.
• 广泛的实验验证了HL-GCN的有效性和FLAG3D++基准的实用性.

结论:

• FLAG3D++提供了一个全面的资源,用于推进3D人类行动的理解,特别是在健身环境中.
• HL-GCN模型提供了一种有效的方法来整合多式联络信息 (语言和姿势) 来进行复杂的动作分析.
• 开发的数据集和模型为体育分析和人机交互中的更复杂应用铺平了道路.