以物联网为驱动的智能辅助通信系统,用于听力受损者,具有用于手语识别的混合深度学习模型
Mashael Maashi1, Huda G Iskandar2,3, Mohammed Rizwanullah4
1Department of Software Engineering, College of Computer and Information Sciences, King Saud University, PO Box 103786, 11543, Riyadh, Saudi Arabia. mmaashi@ksu.edu.sa.
Scientific reports
|February 20, 2025
概括
本研究介绍了一种用于听力障碍者 (SACHI-SLRHDL) 的智能辅助通信系统,该系统使用混合深度学习和物联网 (IoT). 该系统在手语识别方面达到99.19%的准确性,增强了聋人和听障人士的沟通能力.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 辅助技术 辅助技术 辅助技术
背景情况:
- 手语 (SL) 对于聋人和听力障碍者之间的沟通至关重要.
- 物联网 (IoT) 提供了提高残疾人生活质量的潜力.
- 机器学习 (ML) 和计算机视觉 (CV) 的进步使复杂的SL手势识别成为可能.
研究的目的:
- 在物联网框架内开发用于听力障碍者 (SACHI-SLRHDL) 的智能辅助通信系统,使用手语识别 (SLR) 与混合深度学习 (HDL).
- 改善听力障碍者沟通可访问性和整合性.
- 提出一种智能解决方案,利用现代人工智能技术进行SL识别.
主要方法:
- 使用双边过 (BF) 进行图像预处理,以增强捕获的SL图像.
- 使用改进的MobileNetV3模型进行特征提取.
- 使用卷积神经网络进行分类,具有双向隔离的反复单元和注意力 (CNN-BiGRU-A).
- 通过吸引力排斥优化算法 (AROA) 对CNN-BiGRU-A模型进行超参数优化.
主要成果:
- 在印度SL数据集上,SACHI-SLRHDL方法证明了高分类准确率99.19%.
- 混合深度学习方法有效地处理SL手势以进行识别.
- 实验验证证证实了拟议方法在现有技术上的优越性.
结论:
- SACHI-SLRHDL系统为手语识别提供了一个高度准确和有效的解决方案.
- 这项技术可以显著弥合聋人和听力障碍者社区的沟通差距.
- 物联网和先进的人工智能模型的整合对未来的辅助通信技术具有前景.
