实时美国手语解释使用深度学习和关键点跟踪
Bader Alsharif1,2, Easa Alalwany3, Ali Ibrahim1
1Department of Electrical Engineering and Computer Science, Florida Atlantic University, 777 Glades Road, Boca Raton, FL 33431, USA.
Sensors (Basel, Switzerland)
|April 12, 2025
概括
本研究介绍了使用人工智能的实时美国手语 (ASL) 解释系统. 该技术提高了聋人和听力障碍者 (DHH) 社区的通信可访问性.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 辅助技术 辅助技术 辅助技术
背景情况:
- 沟通障碍对聋人和听障者 (DHH) 社区产生重大影响.
- 辅助技术,特别是使用人工智能和深度学习的技术,对于弥合这些沟通差距至关重要.
- 现有的解决方案经常面临准确性,实时处理和环境适应性方面的挑战.
研究的目的:
- 开发和评估一个实时的美国手语 (ASL) 解释系统.
- 加强DHH社区的沟通可访问性和包容性.
- 利用深度学习和关键点跟踪来准确识别ASL.
主要方法:
- 整合了YOLOv11模型,用于强大的手势识别.
- 使用MediaPipe进行精确的手和关键点跟踪.
- 开发了一个实时识别ASL字母表字母和拼写的系统.
主要成果:
- 在实时ASL字母识别中实现了高精度.
- 显示了98.2%的平均平均精度 (mAP@0.5).
- 优化推断速度,以便在实际,现实世界中进行部署.
结论:
- 人工智能驱动的辅助技术在赋予DHH社区权力方面发挥着至关重要的作用.
- 开发的系统为无通信提供了一个实用的解决方案.
- 这项研究通过先进的解释技术促进了更大的包容性.
