一个新的触觉学习辅助工具,用于视觉和听力受损的3D-CNN和双向LSTM利用摩尔斯代码技术

科学领域:

• 辅助技术 辅助技术 辅助技术
• 教育中的人工智能
• 特殊教育 特殊教育

背景情况:

• 聋盲儿童面临着严重的沟通和学习挑战,原因是听觉和视觉障碍的组合.
• 像盲文这样的传统方法需要专门的培训,可能无法完全满足所有学习需求.
• 计算机辅助学习工具对于在教育环境中赋予聋盲儿童权力至关重要.

研究的目的:

• 为聋盲儿童开发先进的辅助工具,克服传统触觉方法的局限性.
• 增强聋盲学生的沟通和独立学习能力.
• 将人工智能 (AI) 和莫尔斯代码技术整合到一个用户友好的教育辅助工具中.

主要方法:

• 利用深度学习模型,特别是3D卷积神经网络和双向长期短期记忆网络,将唇部运动转换为文本.
• 实施莫尔斯码技术,将识别的文本翻译成触觉通信格式.
• 开发一种谨慎的,类似智能手表的可穿戴设备,为孩子提供摩尔斯代码反.

主要成果:

• 嘴唇到文本转换模型实现了高准确率98%的高准确率,字错误率低2%.
• 开发的辅助工具成功地将语音翻译成摩尔兹码,用于触觉通信.
• 可穿戴设备的谨慎设计促进了青少年用户的自信使用.

结论:

• 这种由人工智能驱动的辅助工具为聋盲儿童提供了一种新且有效的沟通和学习方法.
• 这项技术弥合了传统触觉方法留下的差距,促进了更大的独立性和包容性.
• 谨慎的可穿戴设计解决了社会和情感方面的考虑,鼓励采用和定期使用.