一个深度学习框架,用于埃塞俄比亚手语识别,使用基于骨架的表示
Deme Kuma Gonfa1, Million Meshesha2, Dagne Walle Girmaw3
1Department of Information Technology, Haramaya University, Dire Dawa, Ethiopia.
Scientific reports
|October 16, 2025
概括
这项研究引入了使用骨架数据识别埃塞俄比亚手语 (EthSL) 的新模型. 深度学习方法实现了高精度,为实时应用铺平了道路.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 标语识别 (SLR) 对于通信可访问性至关重要.
- 现有的单反相机型号经常与环境变化和签名差异作斗争.
- 埃塞俄比亚手语 (EthSL) 需要专门的识别系统.
研究的目的:
- 开发一个环境和签名不变的EthSL识别模型.
- 评估基于骨架的EthSL识别深度学习架构的有效性.
- 为可扩展的实时EthSL识别奠定基础.
主要方法:
- 使用MediaPipe Holistic从签名者中提取骨关键点.
- 预处理的关键点数据用于特征提取.
- 使用深度学习模型:CNN-LSTM,LSTM,BiLSTM和GRU进行分类.
- 构建并使用了 5600 个注释的 EthSL 视频的数据集.
主要成果:
- 在依赖签名者的设置中实现了94%的准确性.
- 在签名者独立设置中达到73%的准确性.
- 对于不受约束的,实时的EthSL识别有被证明的潜力.
结论:
- 拟议的深度学习框架显示了 EthSL 认可的前景.
- 该模型提供了可扩展性和低成本实施的潜力.
- 需要进一步的研究,以在开放环境中持续识别标志.


