视觉场景理解用于增强的EMG手势识别

科学领域:

• 生物医学工程 生物医学工程
• 机器人技术 机器人技术 机器人技术
• 人与计算机的交互

背景情况:

• 肌电假肢依靠电肌图 (EMG) 进行控制,但容易受到噪音和错误激活的影响.
• 现实世界的应用需要强大的手势识别,考虑到环境背景.
• 整合多种传感器模式可以提高假肢控制系统的可靠性和安全性.

研究的目的:

• 开发和评估一个多式联络框架,用于在肌电假肢控制中增强实时手势识别.
• 用计算机视觉 (CV) 来增强基于EMG的手势识别,以实现上下文意识.
• 通过防止错误的手势检测来减轻假肢控制中的错误运动.

主要方法:

• 实施了一种多模式的方法,结合了电肌学 (EMG) 和计算机视觉 (CV).
• 一个语深卷积神经网络 (SDCNN) 用于EMG手势识别.
• 一个定制的YOLO计算机视觉模型被用于对象检测,以提供上下文信息.
• 传感器融合将SDCNN预测与YOLO模型的背景集成在一起.

主要成果:

• 多式联网系统在现实环境中展示了强大的实时手势识别.
• 来自CV的上下文信息有效地减轻了在发病和维持期间的虚假手势检测.
• 试点实验证实了手势控制界面的增强强性.
• 由于控制精度的提高,用户可以更好地控制假肢系统.

结论:

• 多式传感器融合EMG和CV为可靠的肌电假肢控制提供了一个有希望的方法.
• 情境感知框架显著提高了先进假肢设备的安全性和可用性.
• 这种集成系统通过增加界面的稳定性和用户控制来增强人类的意志控制.