Efhamni:一个基于深度学习的沙特手语识别应用程序
Lama Al Khuzayem1, Suha Shafi1, Safia Aljahdali1
1Department of Computer Science, Faculty of Computing and Information Technology, King Abdulaziz University, Jeddah 21589, Saudi Arabia.
Sensors (Basel, Switzerland)
|May 25, 2024
概括
这项研究介绍了一个安卓应用程序,用于沙特手语 (SSL) 翻译,弥合聋人沟通的差距. 这种由深度学习驱动的工具将SSL翻译为文本和音频,从而提高了可访问性.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 聋人和听力障碍者主要使用手语进行沟通.
- 由于缺少自动手语翻译工具,特别是阿拉伯手语 (ArSL) 和沙特手语 (SSL),存在重大沟通障碍.
- 现有的基于视觉的手语识别系统主要专注于非阿拉伯手语.
研究的目的:
- 开发一个移动应用程序,为沙特阿拉伯的聋人和听力障碍者提供高效的通信辅助.
- 创建一个工具,通过深度学习将沙特手语 (SSL) 翻译成文本和音频.
- 提供在现有的ArSL翻译应用程序中找不到的独特功能.
主要方法:
- 开发一个基于Android的移动应用程序原型.
- 深度学习技术的应用用于孤立的沙特手语 (SSL) 识别和翻译.
- 使用综合数据集进行评估,并对聋人和听力人士进行用户测试.
主要成果:
- 与几种最先进的方法相比,提出的方法显示出更高的性能.
- 实现的翻译准确性与现有的先进方法相美.
- 用户测试证实了移动应用程序对聋人和听力用户的实际有用性.
结论:
- 开发的移动应用程序有效地将沙特手语 (SSL) 翻译成文本和音频.
- 该工具显著提高了沙特阿拉伯聋人社区的通信可访问性.
- 未来的工作重点是提高模型准确性和扩展应用程序功能.
