通过ResNet和LSTM网络进行基于视频的手语识别
Jiayu Huang1, Varin Chouvatut1
1Department of Computer Science, Faculty of Science, Chiang Mai University, Chiang Mai 50200, Thailand.
Journal of imaging
|June 26, 2024
概括
本研究引入了一种使用残余网络 (ResNet) 和长短期内存 (LSTM) 的新手语识别方法,以提高通信可访问性. 该ResNet-LSTM模型增强了时空特征提取,从而提高了识别手语操作的准确性.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 手语识别技术有助于听力障碍者进行沟通.
- 深度学习为手语识别提供技术支持.
- 使用卷积神经网络的传统方法在特征提取和计算资源方面面临挑战.
研究的目的:
- 介绍一种新的基于视频的手语识别方法.
- 为了提高手语识别的准确性和效率.
- 解决传统方法在特征提取和计算需求方面的局限性.
主要方法:
- 使用剩余网络 (ResNet) 作为特征提取的骨干.
- 采用长短期记忆 (LSTM) 网络来捕获长序列特征.
- 联合ResNet用于空间特征提取和LSTM用于从手语视频中学习时间特征.
主要成果:
- 拟议的ResNet-LSTM方法在阿根廷手语 (LSA64) 数据集上实现了86.25%的准确性.
- 证明了卓越的性能,F1得分为84.98%和精度为87.77%.
- 有效地提取了时空特征,显著提高了手语动作识别率.
结论:
- 该ResNet-LSTM方法为基于视频的手语识别提供了有效的解决方案.
- 该方法增强了时空特征的提取,从而提高了识别精度.
- 这项技术有望为听力受损社区提供更好的沟通工具.
