深度学习技术识别美国手语字母表
Bader Alsharif1,2, Ali Salem Altaher1, Ahmed Altaher1,3
1Department of Electrical Engineering and Computer Science, Florida Atlantic University, 777 Glades Road, Boca Raton, FL 33431, USA.
Sensors (Basel, Switzerland)
|September 28, 2023
概括
这项研究使用深度学习模型来识别美国手语 (ASL) 字母表的手势. ResNet-50实现了99.98%的准确性,显著改善了听力障碍者通信工具.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 从历史上看,沟通障碍对有听力障碍的个人产生了影响.
- 现代技术为提高通信可访问性提供了潜在的解决方案.
研究的目的:
- 开发和评估深度学习模型,以识别美国手语 (ASL) 字母表的手势.
- 通过技术,弥合聋人/听力障碍者和听觉人士之间的沟通差距.
主要方法:
- 使用了五种深度学习模型:AlexNet,ConvNeXt,EfficientNet,ResNet-50和视觉转换器.
- 在87000多张ASL字母手势图像数据集上训练和测试模型.
- 进行了对架构参数修改的实验,以优化识别精度.
主要成果:
- ResNet-50实现了最高的准确率99.98%.
- 效率网达到99.95%的准确性.
- ConvNeXt和AlexNet表现出强的性能,分别准确率为99.51%和99.50%.
- 视觉转换器实现了88.59%的准确性.
结论:
- 深度学习模型,特别是ResNet-50,在识别ASL手势方面表现出高效率.
- 这些进步可以为听力障碍者社区改善沟通工具.
- 进一步的研究可以探索实时应用和更广泛的手语识别.
