基于云的个性化sEMG分类使用轻量级CNN用于聋盲个体的长期触觉通信

科学领域:

• 辅助技术 辅助技术 辅助技术
• 人与计算机的交互
• 生物医学工程 生物医学工程

背景情况:

• 聋失明,特别是阿舍尔综合征,造成了重要的沟通和独立障碍.
• 当前的触觉通信方法往往需要近距离和手对手接触,限制了可用性.
• 在阿舍尔综合征中,渐进的视力和听力损失需要适应性的沟通解决方案.

研究的目的:

• 开发和验证一个新的,基于云的,人工智能辅助的手势识别和触觉通信系统.
• 创建一个可穿戴的触觉接口,将触觉交互从手上移到手臂袖上,保持灵巧.
• 设计一个能够纵向适应用户不断变化的生理条件的系统.

主要方法:

• 使用表面电肌图 (sEMG) 来捕捉肌肉激活,用于手势识别.
• 在中央服务器上使用个性化,轻量级的卷积神经网络 (CNN) 进行实时手势分类.
• 开发了一种可穿戴的触觉接口,安装在臂套上,用于双向触觉通信.

主要成果:

• 与跨用户模型相比,个性化的CNN模型表现出卓越的准确性,适应性和可用性.
• 该系统成功地适应了用户不断变化的条件,包括渐进的感官损失.
• 与七名参与者的实时测试验证了该系统的有效性和长期使用潜力.

结论:

• 开发的平台为非视觉通信提供了一个可扩展和纵向适应的解决方案.
• 这种人工智能辅助的触觉系统显著推进了聋盲社区的辅助技术.
• 触觉输入/输出转移到手臂套上,可以保持手工灵活性,并实现连续的交互.