使用深度学习模型的独立的阿拉伯手语手语识别系统.
Kanchon Kanti Podder1, Maymouna Ezeddin2, Muhammad E H Chowdhury3
1Department of Biomedical Physics & Technology, University of Dhaka, Dhaka 1000, Bangladesh.
Sensors (Basel, Switzerland)
|August 26, 2023
概括
本研究介绍了使用CNN-LSTM-SelfMLP模型的阿拉伯手语识别系统. 最好的模型实现了87.69%的准确性,大大改善了以前的手语解释方法.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 手语对于听力和言语障碍人士的沟通至关重要.
- 标语使用者和非使用者之间的互动带来了沟通挑战.
- 手语识别系统可以弥合这种沟通差距.
研究的目的:
- 开发和评估一个强大的阿拉伯手语识别系统.
- 为了比较不同CNN-LSTM-SelfMLP架构的性能.
- 评估面对面基于地区的细分的有效性,以改善识别.
主要方法:
- 利用了两个数据集:阿拉伯手语的原始和面对面的基于区域的细分RGB视频.
- 提出了一个基于操作层的多层感知器 (SelfMLP).
- 使用MobileNetV2和ResNet18骨干与三个SelfMLPs构建了六个CNN-LSTM-SelfMLP模型,在签名者独立模式下进行了测试.
主要成果:
- 在细分数据集上的MobileNetV2-LSTM-SelfMLP模型取得了最高的准确性 (87.69%).
- 这款车型也表现出强的性能,精度为88.57%,回忆率为87.69%,F1得分为87.72%,特异性为99.75%.
- 面对面的基于区域的细分与 SelfMLP 输入的 MobileNetV2-LSTM-SelfMLP 模型相结合,与之前的研究相比,显示了 10.970% 的精度改进.
结论:
- 基于区域的面对手细分是提高阿拉伯手语识别准确性的关键因素.
- 拟议的SelfMLP与CNN-LSTM架构集成,为实时手语解释提供了一个有前途的方法.
- 该系统有可能显著改善阿拉伯手语用户的通信可访问性.
