BdSL47:一个完整的基于深度的孟加拉语符号字母和数字数据集
S M Rayeed1, Sidratul Tamzida Tuba1, Hasan Mahmud1
1Systems and Software Lab (SSL), Department of Computer Science and Engineering (CSE), Islamic University of Technology (IUT), Board Bazar, Gazipur 1704, Bangladesh.
Data in brief
|December 11, 2023
概括
本研究介绍了BdSL47,这是孟加拉手语 (BdSL) 的新深度数据集,旨在改善聋社区的沟通. 一个人工神经网络 (ANN) 模型获得了97.84%的F1得分,证明了有效的标志识别.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 标语识别 (SLR) 对于通信可访问性至关重要.
- 开发全面的手语数据集,特别是孟加拉手语 (BdSL),是具有挑战性的,因为手势的复杂性和有限的深度数据.
- 正确的BdSL识别受到专业数据集稀缺的阻碍.
研究的目的:
- 引入BdSL47,一个对47个静态单手BdSL标志 (10位数,37个字母) 的开放式访问深度数据集.
- 开发和评估用于使用深度数据识别BdSL的人工神经网络 (ANN) 模型.
- 通过公开可用的全面数据集,促进BdSL认可的进步.
主要方法:
- 使用MediaPipe框架创建了BdSL47数据集,从47个静态BdSL标志中提取深度信息.
- 开发了一种具有特定架构的人工神经网络 (ANN) 模型 (63节点输入,47节点输出,4个隐藏层与dropout,Adam优化器,ReLU激活).
- 在BdSL47数据集上训练和评估ANN模型,以对手势输入进行分类.
主要成果:
- 拟议的ANN模型在BdSL47数据集上获得了97.84%的高F1得分.
- 该模型展示了基于深度的手势特征的空间关系和模式的有效学习.
- 结果表明,与现有的基线方法相比,性能优越.
结论:
- BdSL47数据集为推进孟加拉手语识别提供了宝贵的资源.
- 开发的ANN模型在从深度数据中识别BdSL标志方面表现出显著的有效性.
- 预计这一数据集的可用性将刺激BdSL在深度学习领域的进一步研究和开发.
