融合CNN和注意力机制,以改善室内实时的人类活动识别,用于对家庭物理康复练习进行分类
Moamen Zaher1, Amr S Ghoneim2, Laila Abdelhamid3
1Faculty of Computer Science, October University for Modern Sciences and Arts (MSA), Egypt; Human-Computer Interaction (HCI-LAB), Faculty of Computing and Artificial Intelligence, Helwan University, Egypt.
Computers in biology and medicine
|November 26, 2024
概括
本研究引入了一种使用计算机视觉和人类活动识别 (HAR) 进行家庭物理康复的新框架. 混合深度学习模型,特别是合并的三模型架构,显著提高了康复练习的准确性.
科学领域:
- 生物医学工程 生物医学工程
- 计算机科学 计算机科学
- 康复医学 康复医学 康复医学
背景情况:
- 身体康复在全球范围内至关重要,但缺乏理疗师,特别是在发展中国家,阻碍了获得护理的机会.
- 目前的康复文献缺乏多样化的数据表示和模式,限制了先进的治疗干预措施.
- 家庭康复需要有效的技术支持,以克服服务差距.
研究的目的:
- 整合计算机视觉和人类活动识别 (HAR) 以加强家庭物理康复.
- 建议使用连续波形变换 (CWT) 和Mel频率 Cepstral 系数 (MFCC) 进行骨架数据表示的新框架.
- 评估和开发先进的深度学习模型,包括混合架构,用于准确的康复练习识别.
主要方法:
- 使用连续波形变换 (CWT) 来进行时间频率分析和Mel-Frequency Cepstral Coefficients (MFCC) 的骨架数据表示.
- 评估了20个卷积神经网络 (CNN) 模型,一个视觉变压器 (ViT) 和12个混合CNN-ViT架构 (双模型和三模型).
- 对UI-PRMD和KIMORE数据集进行严格的测试,使用准确性,精度,回忆,F1得分,5倍交叉验证和实时性能指标.
主要成果:
- 拟议的融合三模型架构在两个数据集上都表现出高于单模型和双模型配置的性能.
- 混合模型DenMobVit取得了最先进的结果,UI-PRMD的精度提高了2.9%,KIMORE的精度提高了1.97%.
- 评估考虑了实际适用性,包括模型大小和低功耗设备的效率.
结论:
- 新的数据表示框架和混合深度学习模型有效地推进了基于家庭的康复技术.
- 开发的DenMobVit模型为识别康复练习提供了强大而高效的解决方案,解决了物理治疗服务的差距.
- 这种方法具有显著的潜力,可以改善全球物理康复护理的可访问性和质量.
