可转移的非侵入性模态融合变压器 (NIMFT) 用于端到端的手势识别
Tianxiang Xu1,2, Kunkun Zhao1,2, Yuxiang Hu1,2
1School of Biomedical Engineering and Informatics, Nanjing Medical University, Nanjing 211166, People's Republic of China.
Journal of neural engineering
|April 2, 2024
概括
本研究介绍了非侵入性模态融合变压器 (NIMFT),用于使用表面电肌图 (sEMG) 和加速 (ACC) 信号改进手势识别. 通过非侵入性融合和转移学习,NIMFT模型实现了高精度和卓越的学科间概括性.
科学领域:
- 生物医学工程 生物医学工程
- 机器学习 机器学习
- 人与计算机的交互
背景情况:
- 将惯性测量单元 (IMU) 信号与表面电肌图 (sEMG) 集成,可以增强手势识别 (HGR) 用于假肢和康复.
- 当前的深度学习模型在多式联机HGR中与侵入性融合,复杂特征提取和有限的跨学科概括性作斗争.
研究的目的:
- 开发一个端到端,跨学科可转移的HGR模型,使用非侵入性融合的sEMG和加速 (ACC) 数据.
- 解决现有模型在多式联网高温回收系统中的局限性,重点关注融合技术和泛化.
主要方法:
- 提出了非侵入性模态融合变压器 (NIMFT) 模型.
- 利用1D卷积神经网络进行补丁嵌入和多头交叉注意 (MCA) 进行非侵入性信号集成.
- 员工通过微调进行跨学科概括转移学习,并进行了废除研究.
主要成果:
- 在Ninapro DB2数据集上实现了高识别准确度 (93.91%95.56%).
- 拟议的嵌入和MCA方法的性能相对传统的侵入性聚变要好,分别为2.01%和1.23%.
- 微调实现了2.26%的精度改进,比主题特定模型更准确,达到96.13%.
结论:
- 通过使用MCA,NIMFT有效地非侵入性地整合了多式联运信息.
- 与最先进的模型相比,在跨主题HGR中表现出卓越的性能.
- 通过将学习转移到特定学科的方法,提高了培训效率和准确性.
