使用爬行动物搜索算法与混合深度学习的自动化手语检测和分类.
Hadeel Alsolai1, Leen Alsolai1, Fahd N Al-Wesabi2
1Department of Information Systems, College of Computer and Information Sciences, Princess Nourah bint Abdulrahman University, P.O. Box 84428, Riyadh 11671, Saudi Arabia.
Heliyon
|December 27, 2023
概括
本研究介绍了一种使用混合深度学习和爬行动物搜索算法的新型自动化手语识别系统. SLDC-RSAHDL技术提高了手语检测和分类准确度,以提高可访问性.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 标语识别 (SLR) 为聋人和听力障碍者促进沟通.
- 现有的SLR方法面临诸如标志变化,复杂性和实时处理需求等挑战.
- 深度学习 (DL),计算机视觉 (CV) 和机器学习 (ML) 是SLR的关键技术.
研究的目的:
- 引入一个自动化手语检测和分类系统 (SLDC-RSAHDL).
- 通过混合深度学习和元启发式优化来提高SLR的准确性和效率.
- 为了解决当前手语识别技术的局限性.
主要方法:
- 使用MobileNet作为手语手势的特征提取器.
- 使用曼塔射线食优化 (MRFO) 来调整移动网的超参数.
- 实施混合深度学习 (HDL) 模型,将卷积神经网络 (CNN) 和长短期记忆 (LSTM) 结合起来进行分类.
- 在HDL模型中应用爬行动物搜索算法 (RSA) 进行最佳的超参数选择.
主要成果:
- 通过SLDC-RSAHDL技术,示意语言的检测和分类率得到了提高.
- 实验结果显示,与现有的深度学习技术相比,性能优越.
- 混合深度学习方法与元启发优化增强了识别准确性.
结论:
- SLDC-RSAHDL系统在自动化手语识别方面提供了一个有前途的进步.
- 这种方法有效地解决了手语口译的关键挑战.
- 该研究强调了将元启发算法与深度学习集成为改进的单反相机系统的潜力.
