通过使用深度学习和物联网进行强大的手语识别来增强听力障碍者之间的沟通

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 人与计算机的交互

背景情况:

• 标语识别 (SLR) 对于人机交互至关重要,特别是对于言语或听力障碍的人来说.
• 物联网 (IoT) 具有提高听力受损社区日常活动和沟通的潜力.
• 深度学习 (DL) 技术可以有效地减少听力障碍者沟通障碍.

研究的目的:

• 提出一种创新的方法,ECRSLR-SAEHD,用于针对听力障碍者量身定制的强大的手语识别.
• 利用深度学习和物联网来改善听力障碍患者的沟通和生活质量.
• 通过先进的计算方法提高手语检测的准确性和可靠性.

主要方法:

• 使用高斯过 (GF) 进行图像预处理,以提高清晰度和减少噪声.
• 使用EfficientNetB7进行特征提取,以捕获手语运动中的复杂模式.
• 实现了用于手语识别的稀疏自动编码器 (SAE) 模型,并通过 fennec fox 算法 (FFA) 为超参数调整进行了优化.

主要成果:

• 该ECRSLR-SAEHD方法在手语识别方面表现出卓越的表现.
• 在基准数据集上实现了93.07%的分类准确性,优于现有方法.
• 广泛的模拟和实验验证证证了拟议技术的有效性.

结论:

• 听力障碍的ECRSLR-SAEHD方法显著提高了听力障碍患者的沟通能力.
• DL和物联网的整合为辅助技术提供了一个有希望的方向.
• 拟议的方法为手语识别提供了强大而准确的解决方案,改善了可访问性和包容性.