对于有听障的人来说,手势识别使用了一组深度学习模型,并改进了基于贝卢加优化的超参数调
Mohammed Assiri1,2, Mahmoud M Selim3,4
1Department of Computer Science, College of Computer Engineering and Sciences, Prince Sattam Bin Abdulaziz University, P.O. BOX 16273, 3963, Al-Kharj, Saudi Arabia.
Scientific reports
|July 2, 2025
概括
这项研究引入了一种用于识别手势语言手势的新模型,达到98.72%的准确性. 对于有听力障碍的人来说,手势识别使用一组深度学习模型与改善贝卢加优化 (GRHIP-EDLIBWO) 模型可以增强听力障碍的人的沟通能力.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 手语 (SL) 对于听力障碍者之间的沟通至关重要.
- 当前的机器学习模型面临着直接理解人类语言的挑战,需要有效的手势识别系统.
- 手势识别 (GR) 系统弥合了这一差距,使人机交互成为可能,并使听力受损者和老年人受益.
研究的目的:
- 提出一个先进的模型,GRHIP-EDLIBWO,用于准确的手势语言手势识别.
- 为听力障碍者开发一个可访问的通信系统.
- 用深度学习和优化技术来提高手势识别的性能.
主要方法:
- 使用Sobel波器 (SF) 进行图像预处理,用于边缘检测和特征提取.
- 功能提取利用挤压和激发囊网络 (SE-CapsNet) 进行空间层次结构.
- 集成分类采用双向封闭循环单元 (BiGRU),变异自编码器 (VAE) 和双向长期短期记忆 (BiLSTM),通过改进的白优化 (IBWO) 进行优化.
主要成果:
- 在印度手语 (ISL) 数据集上,GRHIP-EDLIBWO模型实现了98.72%的优异分类准确度.
- 广泛的模拟证明了该模型的稳定性和有效性.
- 提出的方法优于现有的手势识别模型.
结论:
- GRHIP-EDLIBWO模型在手语识别技术方面取得了重大进展.
- 这种方法可以促进为听力障碍者社区开发更容易使用的沟通工具.
- 深度学习和优化技术的整合对未来的人机交互研究有很大的前景.
