基于手势的创新手势基于手势的手语识别,使用混合的元启发优化算法与深度学习模型,用于听力障碍者
Bayan Alabduallah1, Reham Al Dayil2, Abdulwhab Alkharashi3
1Department of Information Systems, College of Computer and Information Sciences, Princess Nourah Bint Abdulrahman University, P.O. Box 84428, 11671, Riyadh, Saudi Arabia. Bialabdullah@pnu.edu.sa.
Scientific reports
|March 19, 2025
概括
本研究介绍了一种创新的手语识别技术,使用手姿势估计和深度学习. 该方法达到99.57%的准确性,大大改善了听力障碍患者的沟通.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 标语 (SL) 是聋人社区的一个重要的视觉物理沟通方法.
- 标语识别 (SLR) 对于弥合聋人和听力人士之间的沟通差距至关重要.
- 深度学习 (DL) 方法在推进单反相机功能方面表现有前途.
研究的目的:
- 通过使用手势姿势与深度学习 (ISLRHP-HMOADL) 技术中的混合元启发优化算法进行创新的手语识别.
- 通过改进手动姿势识别,提高听力障碍者标志解读的效率和准确性.
主要方法:
- 使用Wiener过器 (WF) 进行图像预处理,以减少噪音和提高质量.
- 通过融合ResNeXt101,VGG19和视觉变压器 (ViT) 模型来提取特征.
- 使用双向封闭反复单位 (BiGRU) 分类器进行手动姿势识别.
- 使用混合乌搜索改进的灰狼优化 (CS-IGWO) 算法进行参数优化.
主要成果:
- 该ISLRHP-HMOADL模型在ASL字母数据集上表现出卓越的性能.
- 实现了高分类准确率99.57%,超过了现有方法.
- 混合优化算法有效调整模型参数,以提高稳定性和准确性.
结论:
- 拟议的ISLRHP-HMOADL技术显著提高了手语识别能力.
- 先进的DL模型和元启发式优化的融合为听力障碍者沟通提供了一个强大的解决方案.
- 这种方法有可能开发出更容易获得和更有效的辅助技术.
