在假肢手控制中,EMG和视觉的多式融合用于人类掌握意图推断

科学领域:

• 机器人和人机交互的人机交互
• 生物医学工程 生物医学工程
• 人工智能的人工智能

背景情况:

• 截肢者面临着日常活动的挑战,因为目前的假肢手掌控有局限性.
• 基于电肌图 (EMG) 的控制易受运动和肌肉疲劳等人工物影响,限制了其可靠性.
• 视觉传感器提供环境背景,但容易出现诸如遮蔽和照明变化等问题.

研究的目的:

• 开发和评估贝叶斯证据融合框架,以改善机器人假肢手中的掌握意图推断.
• 整合生理 (EMG) 和视觉 (眼视视频,眼神) 数据,以实现更强大的假肢控制.
• 在物体抓获阶段分析单个和合并传感器模式的性能.

主要方法:

• 贝叶斯证据融合框架使用神经网络模型来处理眼视频,眼神和前臂EMG数据.
• 开发了新的数据处理和增强技术来训练神经网络组件.
• 随着假肢手接近一个物体,随着时间的推移,分析了单独和合并的传感器性能.

主要成果:

• 与单独使用EMG (81.64%) 相比,多式融合提高了掌握类型分类准确率13.66%,与单独使用视觉证据 (80.5%) 相比,提高了14.8%.
• 在达到阶段,合系统实现了95.3%的整体精度.
• 在抓取任务期间,Fusion在各种时间点上表现出优于单个模式的性能.

结论:

• 电肌图 (EMG) 和视觉证据在假肢手掌控方面具有互补的优势.
• 多模式证据的融合在把握意图推断中显著优于单个传感器模式.
• 这种方法提供了一种更可靠,更准确的方法来恢复跨辐射截肢者的灵敏度.