评估双路径时间融合策略,以在肢体位置变化下多模式手势识别
Shen Zhang1, Hao Zhou1, Rayane Tchantchane2
1School of Mechanical, Materials, Mechatronic and Biomedical Engineering, University of Wollongong Faculty of Engineering and Information Sciences, Northfields Avenue, 2522 NSW, Wollongong, New South Wales, 2522, Australia.
Journal of neural engineering
|February 16, 2026
概括
使用表面电肌图 (sEMG) 和力肌图 (pFMG) 进行手势识别的基线连接模型实现了95.88%的准确性. 这种方法为实时假肢手部控制提供了性能和效率的良好平衡.
科学领域:
- 生物医学工程 生物医学工程
- 人与计算机的交互
- 机器学习 机器学习
背景情况:
- 基于生物信号的可穿戴手势识别 (HGR) 对于假肢手的控制至关重要.
- 肢体位置的变化和现实世界的因素挑战了HGR的可靠性.
- 同时位置的表面电肌图 (sEMG) 和基于压力的力肌图 (pFMG) 提供了互补的传感.
研究的目的:
- 系统地比较用于sEMG和pFMG集成的双路径时间融合架构.
- 基于强度,计算效率和可用于假肢的可解释性来评估架构.
- 为可穿戴HMI系统确定最佳的融合策略.
主要方法:
- 研究了三种双路径时间卷积网络 (DFF-TCN) 架构:基于连接的,决策级交叉注意力和特征级交叉注意力.
- 评估了来自十名参与者在定制数据集上的模型,这些参与者在各种手臂位置上执行了九种手势.
- 使用集成梯度来解释sEMG和pFMG贡献的AI分析.
主要成果:
- 基于连接的DFF-TCN实现了最高的平均精度 (95.88%) 和最低的推理延迟 (1.70毫秒).
- 基于注意力的变体显示的准确度略低 (90.65%和94.02%).
- 可解释AI显示了sEMG (54.08%) 和pFMG (45.92%) 的互补贡献.
结论:
- 不同的融合策略在识别性能,计算成本和稳定性之间存在权衡.
- 基于连接的模型为实时假肢控制提供了实用的平衡.
- 这些发现指导了为可穿戴HMI和假肢应用选择多模式融合架构.
