使用机器学习方法识别派生阿姆哈拉字母的手语
Ayodeji Olalekan Salau1,2, Nigus Kefyalew Tamiru3, Bekalu Tadele Abeje4,5
1Department of Electrical/Electronics and Computer Engineering, Afe Babalola University, Ado-Ekiti, Nigeria.
Heliyon
|October 10, 2024
概括
这项研究引入了机器学习的埃塞俄比亚阿姆哈拉字母的手语 (EAMASL) 识别,实现了高精度. 开发的系统旨在弥合听力障碍者使用EAMASL的沟通差距.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 手语为听力障碍者提供了沟通的便利.
- 埃塞俄比亚阿姆哈拉语字母符号语言 (EAMASL) 由于复杂的字母和有限的先前研究,提出了独特的挑战.
- 现有的技术难以解释EAMASL,造成了沟通障碍.
研究的目的:
- 开发和评估用于识别衍生阿姆哈拉字母符号的机器学习模型.
- 为了解决以往仅关注基本EAMASL标志的研究的局限性.
- 提高埃塞俄比亚听力受损社区的通信可访问性.
主要方法:
- 利用机器学习技术,包括支持向量机 (SVM) 和卷积神经网络 (CNN).
- 采用混合特征提取,结合CNN和面向梯度 (HOG) 的直方图,实现强大的标志识别.
- 应用了10倍的交叉验证,用于绩效评估.
主要成果:
- 在SVM模型中,使用正常化混合功能 (CNN+HOG) 实现了高达97.40%的准确性.
- 美国有线电视新闻网 (CNN) (Softmax) 分类器在正常化混合特征的情况下达到93.55%的准确性.
- 混合方法在识别复杂的EAMASL标志方面表现出卓越的表现.
结论:
- 机器学习,特别是混合CNN-HOG功能,显示出对EAMASL识别的重大承诺.
- 开发的模型可以有效地弥合EAMASL用户的沟通差距.
- 进一步的研究和开发可以导致更复杂的手语解释技术.
