从自我中心的视频中认识到中风后在家中使用手和手的作用
Meng-Fen Tsai1,2,3, Rosalie H Wang2,3,4,5, José Zariffa1,2,3,5,6
1Institute of Biomedical Engineering, University of Toronto, Toronto, Ontario, Canada.
PLOS digital health
|October 11, 2023
概括
这项研究表明,人工智能可以分析自我中心的视频,以检测中风幸存者在家里如何使用手. 计算机视觉准确地识别了手的使用,有助于康复评估.
科学领域:
- 康复工程 康复工程
- 计算机视觉 计算机视觉
- 神经科学是一个神经科学.
背景情况:
- 手的功能对于中风后的独立性至关重要.
- 测量在家中实际使用手的情况对于评估干预措施至关重要.
- 需要新的可穿戴技术和自动化分析.
研究的目的:
- 用人工智能和在家中录制的自我中心视频对中风幸存者进行手动使用和手动角色的分类.
- 为了评估不同AI模型对此任务的性能.
主要方法:
- 21名中风幸存者参与了这项研究.
- 分析了家庭手工使用的自我中心视频.
- 应用了包括随机森林,SlowFast和手对象探测器在内的AI模型.
- 在绩效评估中使用了"离开一个主体的交叉验证" (LOSOCV).
主要成果:
- 手部物体探测器模型在检测手部使用方面明显优于其他模型.
- 手物体探测器在受影响较多的手中实现了0.50的宏观平均MCC,在受影响较小的手中达到0.58.
- 在所有模型中,手部角色分类性能都很低.
结论:
- 使用人工智能的自我中心视频分析可用于捕捉中风幸存者的家庭手工使用.
- 手部物体探测器显示了自动手部使用检测的前景.
- 未来的工作可能会从姿势估计中受益,以改善手部角色分类.
