IRDC-Net:一个具有残余模块和扩展卷积的初始网络,用于基于表面肌电图的手语识别
Xiangrui Wang1, Lu Tang1, Qibin Zheng1
1School of Health Science and Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China.
Sensors (Basel, Switzerland)
|July 14, 2023
概括
这项研究引入了一种新的Inception架构,该架构具有残余模块和扩展卷积 (IRDC-net),用于使用表面电肌图 (sEMG) 信号进行手语识别 (SLR). IRDC网络显著提高了聋人通信辅助器的分类准确性.
科学领域:
- 生物医学工程 生物医学工程
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 聋人和听障人士面临的沟通挑战.
- 基于表面电肌图 (sEMG) 的手语识别 (SLR) 为社会融合提供了一个有前途的解决方案.
- 传统的卷积神经网络 (CNN) 结构在捕获复杂的sEMG信号特征方面存在局限性.
研究的目的:
- 为增强的SLR提出一个新的IRDC-net架构.
- 提高识别中国手语标志的准确性和效率.
- 在公共数据集上验证拟议的方法,并将其与现有的CNN模型进行比较.
主要方法:
- 用离散里埃转换将时间域sEMG信号转换为时间频域.
- 开发和应用一个新的Inception架构与残余模块和扩展卷积 (IRDC-net) 的SLR.
- 使用Ninapro DB1数据集对IRDC-net与VGG-net和ResNet-18进行比较分析.
主要成果:
- 在时间频率转换后,IRDC网络在中国手语定制数据集上实现了91.70%的分类准确率.
- 在公开的Ninapro DB1数据集上,IRDC网络在时间频率数据上达到了89.82%的分类准确度.
- 拟议的IRDC网络在SLR任务中表现优于VGG网络和ResNet-18.
结论:
- IRDC网络有效地捕获sEMG信号的复杂特征,以改进SLR.
- 时频域转换提高了基于sEMG的单反相机系统的性能.
- 这项研究有助于推进SLR技术,并帮助聋和听障人士.
