通过立体相机信息融合对3D姿势重建算法的准确性评估,用于使用MediaPipe姿势的物理练习
Sebastian Dill1, Arjang Ahmadi2, Martin Grimmer2
1KIS*MED (AI Systems in Medicine), Technische Universität Darmstadt, 64283 Darmstadt, Germany.
Sensors (Basel, Switzerland)
|December 17, 2024
概括
这项研究引入了一种新的3D人类姿势估计 (HPE) 方法,使用立体相机和MediaPipe Pose. 该技术准确地重建了体育炼分析的3D姿势,性能优于单眼3DHPE.
科学领域:
- 计算机视觉 计算机视觉
- 生物机械分析 生物机械分析
- 人类运动跟踪跟踪
背景情况:
- 基于视频的人体姿势估计 (HPE) 对于分析人类运动至关重要.
- 单眼2D HPE实现了高精度,但3D HPE更具挑战性,但为诸如运动分析等任务提供了卓越的表现.
- 准确的3D人体姿势数据对于详细的生物力学和性能评估至关重要.
研究的目的:
- 开发和评估一种使用立体相机准确3D人体姿势估计 (HPE) 的新方法.
- 评估该方法在分析体育炼和识别性能错误方面的有效性.
- 将2D HPE精度的优势与3D坐标的实用性相结合,以提高可用性.
主要方法:
- 使用MediaPipe Pose开发了一种新的3D HPE方法,用于对立体摄像头料进行2D估计.
- 使用融合算法重建3D姿势,而不需要先前对立体相机进行校准.
- 该方法在专门记录体育炼运动的定制数据集上进行了评估.
主要成果:
- 拟议的方法比单眼3DHPE显著提高了性能,根平均平方误差 (RMSE) 的中位数为30.1,相比56.3 (p < 10^-6).
- 获得的准确性被发现足以可靠地识别体育炼表现中的错误.
- 融合方法成功地利用高精度的2D数据进行了强大的3D姿势重建.
结论:
- 开发的基于立体摄像头的3D HPE方法在现有的单眼技术上取得了实质性的进步.
- 这种方法提供了准确的3D人体姿势数据,适用于详细的身体炼分析和错误检测.
- 聚变算法在没有事先校准的情况下工作的能力提高了它在现实场景中的实际适用性.
