深度数据和上肢损伤对轻量级单眼RGB人类姿势估计模型的影响

科学领域:

• 计算机视觉 计算机视觉
• 生物医学工程 生物医学工程
• 康复技术 康复技术 康复技术

背景情况:

• 基于无标记视觉的人体姿势估计 (HPE) 提供可扩展的数据收集用于康复.
• 高效准确的独立系统对于部署HPE技术至关重要.

研究的目的:

• 为了评估深度数据对轻量级单眼RGB HPE性能 (精度和速度) 的影响.
• 通过使用身体障碍者数据验证HPE模型.

主要方法:

• 两个HPE模型 (Dite-HRNet,MobileHumanPose) 被调整为通过早期,简单的中间和复杂的中间融合技术结合深度数据.
• 模型在各种数据集上进行了训练和测试,包括一个定制的RGB-D数据集,其中包括未受损和中风后的个体执行上肢运动.
• 使用平均每关联位置错误 (MPJPE),浮点操作 (FLOP) 和率来评估性能.

主要成果:

• 早期的融合架构始终在2D和3DHPE方面实现了最低的MPJPE,计算效率 (FLOP,率) 与仅RGB模型相比较.
• 在不同的培训和测试数据集中,模型性能保持一致.
• 没有观察到运动障碍对HPE模型准确性的显著影响.

结论:

• 深度数据与RGB数据的早期融合改善了HPE模型中的准确性-效率权衡.
• 身体障碍不会显著影响HPE的准确性.
• 在无障碍个体上训练的深度增强HPE模型可以有效地泛化到身体障碍的人群中.