通过基于视觉的骨与光学融合,区分中风后患者与健康个体

科学领域:

• 生物医学工程 生物医学工程
• 计算机视觉 计算机视觉
• 康复技术 康复技术 康复技术

背景情况:

• 传统的中风后异常步态分析依赖于可穿戴设备.
• 计算机视觉和深度学习的进步提供了新的可能性.
• 多模式融合提高了步态分析的准确性和全面性.

研究的目的:

• 开发和评估基于视觉的多模式融合方法,用于分析中风后患者的异常步态.
• 为了提高步态分析的解释性,用于临床应用.

主要方法:

• 招募了70名中风后患者和70名健康人群进行步行视频捕捉.
• 使用人类姿势估计 (HPE) 提取的骨架点,计算的光流和角度变化.
• 集成的深度空间功能 (ResNet-50) 和使用长短期内存 (LSTM) 网络分析的融合数据.

主要成果:

• 结合特征的LSTM网络实现了高精度 (0.8794±0.0447在开放数据集上,0.8778±0.0347在临床数据集上).
• 性能与CNN-RNN和视觉变压器 (ViT) 相比较.
• 最佳的LSTM配置被确定为2层,有128个隐藏单元.

结论:

• 将骨架点的光流与下肢角度变化相结合,可以提高分析解释性.
• 多模式融合方法为临床医生提供了对步态特征和模型决策的更清晰洞察力.
• 更好的理解增加了临床医生对分析框架的输出的信心.