AI-NLP为声音和听力障碍者提供辅助技术系统

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 辅助技术 辅助技术 辅助技术

背景情况:

• 对于声音和听力受损的个人来说,沟通障碍仍然存在.
• 现有的解决方案往往缺乏准确性,负担能力或全面的手语支持.
• 弥合沟通差距需要创新的技术干预.

研究的目的:

• 开发一个具有成本效益和高精度的设备,用于声音和听力障碍的人.
• 整合深度学习和自然语言处理 (NLP) 进行手语解释.
• 增强障碍和非障碍用户的通信可访问性.

主要方法:

• 评估了四种人工智能 (AI) 模型:随机森林分类器,XGBoost分类器,支持矢量机 (SVM) 和卷积神经网络 (CNN).
• 实施最佳表现模型 (CNN) 来解释手势.
• 集成NLP,通过嵌入式芯片系统 (SoC) 板将解释的手势转换为语音命令.
• 开发一个伴随的移动应用程序,以促进用户交互.

主要成果:

• 卷积神经网络 (CNN) 在识别手语手势方面达到90%的最高准确率.
• SVM,随机森林和XGBoost的准确度分别为80%,81%和76%.
• 开发的设备成功地解释手势并将其转换为语音命令,由NLP支持.

结论:

• 美国有线电视新闻网 (CNN) 模型在准确的手势语言手势识别方面表现出卓越的性能.
• 综合系统为听力和语音障碍者面临的沟通挑战提供了负担得起和有效的解决方案.
• 这种技术进步有可能显著提高用户的生活质量.