基于深度融合的转移学习与搜索算法用于手语识别,以帮助有听力和语言障碍的人
Manar Ahmed Hamza1, Alanoud Subahi2, Nouf Atiahallah Alghanmi2
1Department of Computer and Self Development, Preparatory Year Deanship, Prince Sattam Bin Abdulaziz University, Al-Kharj, Saudi Arabia. ma.hamza@psau.edu.sa.
Scientific reports
|September 24, 2025
概括
这项研究引入了一个新的深度学习模型来识别手语,达到99.64%的准确性. 基于融合的优化转移学习用于手语识别使用 Bald Eagle 搜索算法 (OFTLSLR-BESA) 模型增强了听力障碍患者的沟通能力.
科学领域:
- 人工智能的人工智能
- 计算机视觉 计算机视觉
- 人与计算机的交互
背景情况:
- 对于聋人和听力障碍者来说,手语 (SL) 是非常重要的.
- 由于对SL不熟悉,存在沟通缺口.
- 机器学习 (ML) 和计算机视觉 (CV) 的进步为SL识别提供了解决方案.
研究的目的:
- 提出一种基于融合的优化转移学习,用于使用白搜索算法 (OFTLSLR-BESA) 模型识别手语.
- 提高手语识别系统的准确性和效率.
- 弥合听力和言语障碍者之间的沟通差距.
主要方法:
- 使用自适应双边过 (ABF) 进行图像预处理.
- 通过InceptionV3,MobileNetV2,NASNetMobile和ResNet50V2模型的融合进行特征提取.
- 使用随机向量函数链路 (RVFL) 方法进行分类,并通过 Bald Eagle Search (BES) 算法进行超参数调整.
主要成果:
- 在美国SL字母数据集上,OFTLSLR-BESA模型实现了99.64%的高精度.
- 与现有的手语识别方法相比,拟议的模型表现出优越的性能.
- 通过组合技术,可以实现有效的降噪和特征提取.
结论:
- OFTLSLR-BESA模型为手语识别提供了一个高度准确和高效的解决方案.
- 这项技术可以显著提高听力障碍患者的通信可访问性.
- 深度学习模型和优化算法的融合对现实世界的应用非常有前途.
