超越操纵杆:深度学习游戏用于手部运动恢复

科学领域:

• 计算机视觉 计算机视觉
• 康复技术 康复技术 康复技术
• 人工智能的人工智能

背景情况:

• 传统的手部康复可以是重复性的,缺乏参与.
• 需要可访问,低成本和交互式的治疗工具.
• 游戏化和人工智能有可能改善患者的动机和结果.

研究的目的:

• 探索深度学习 (DL) 以实时识别手和手势在手的康复.
• 开发一种游戏化系统,以增强认知功能和手眼协调.
• 创建一个可访问和引人入胜的平台,以恢复灵巧.

主要方法:

• 使用预训练的卷积神经网络 (CNN) 模型与谷歌的MediaPipe库进行手部识别.
• 重新开发了经典的街机游戏 (Pong,Tetris,水果忍者) 和虚拟键盘,并将其转化为以手势控制的康复工具.
• 使用Phaser.js,一个评分系统,实现了基于Web的界面,并通过系统可用性量表 (SUS) 评估了可用性.

主要成果:

• 在15名参与者中,表现出一致的手势识别精度和稳定的游戏控制.
• 在可用性评估中获得了用户的有利回应,SUS得分超过了行业基准.
• 表示参与者发现系统直观,引人入胜,有效的康复.

结论:

• 证实了基于单眼相机的计算机视觉用于手部康复的可行性.
• 拟议的系统为现有工具提供了一个可访问,交互和负担得起的替代方案.
• 与游戏化接口集成的手势识别有效地支持灵巧恢复和用户动机,为未来的AI康复平台奠定了基础.