来自视频级标记数据的中风康复练习的框架级实时评估:特定任务与基础模型

科学领域:

• 生物医学工程 生物医学工程
• 康复技术 康复技术 康复技术
• 医疗保健中的人工智能

背景情况:

• 脑卒中康复需要持续的患者炼和反.
• 虚拟教练为自主炼和运动功能的改善提供了潜力.
• 当前的运动分析系统需要广泛的级注释,阻碍了可扩展性.

研究的目的:

• 开发一个框架,使用视频级注释实时评估中风康复练习中的补偿运动.
• 减少对昂贵且耗时的框架级数据标签的依赖.
• 为新患者增强运动分析模型的概括能力.

主要方法:

• 基于梯度的技术和伪标签的选择被用来从视频级注释生成级标签.
• 包括Action Transformer,SkateFormer和MOMENT在内的预训练模型被用来生成伪标签.
• 为了验证,使用了包括18名中风后患者在内的SERE数据集.

主要成果:

• MOMENT基础模型实现了优越的视频水平评估,AUC为73%,明显超过了基线LSTM (AUC = 58%).
• 动作变压器模型与集成梯度技术相结合,与框架级地面真相标签 (AUC = 69%) 相比,提高了框架级评估 (AUC = 72%).
• 拟议的方法证明了对新患者的模型概括和定制的增强.

结论:

• 开发的框架有效地允许从视频级注释到中风康复的框架级运动分类.
• 利用预先训练的模型和伪标签可以显著降低数据注释负担并提高模型性能.
• 这种方法有助于开发更易于使用和更适应的虚拟辅导系统,用于中风恢复.