自动生成标记数据用于基于视频的人体姿势分析通过NLP应用到YouTube字幕

科学领域:

• 计算机视觉和机器学习
• 人类姿势估计 人类姿势估计
• 自然语言处理自然语言处理.

背景情况:

• 基于视频的家庭运动评估系统正在迅速发展.
• 系统性能受到标记运动数据集的稀缺性所限制.
• 在线健身视频提供了训练数据的潜在来源.

研究的目的:

• 提出一种新的方法,用于生成标记数据集,用于练习分析.
• 使用在线视频内容,包括字幕,用于数据标签.
• 为了应对在运动识别研究中有限的标记数据的挑战.

主要方法:

• 应用自然语言处理 (NLP) 来分析在线健身视频中的字幕数据.
• 开发了一种分类视频剪辑不相关,相关正确或相关不正确的方法.
• 使用俯卧式视频作为一个案例研究来演示拟议的技术.

主要成果:

• 成功创建了一个标记的数据集,用于使用字幕信息进行姿势分析.
• 在不相关和相关的炼剪辑之间,联合可见度值存在显著差异.
• 集群中心点分析显示,不同相关性类别之间存在明显的姿势变化.

结论:

• 通过NLP进行字幕分析是标记练习视频数据的有效策略.
• 拟议的方法可以帮助克服计算机视觉对运动评估的数据稀缺问题.
• 这种方法可以创建更丰富的数据集,用于训练更强大的机器学习模型.