实时手语检测:赋予残疾人社区权力
Sumit Kumar1, Ruchi Rani2, Ulka Chaudhari2
1Symbiosis Institute of Technology, Pune Campus, Symbiosis International (Deemed University), Pune, Maharashtra 412115, India.
MethodsX
|September 9, 2024
概括
本研究介绍了一个准确的,实时的印度手语 (ISL) 识别系统,使用VGG16与注意力机制. 这种创新方法可以提高发言和听力障碍患者的沟通能力,而不需要传感器.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 对于言语和听力障碍的人来说,存在沟通障碍.
- 以前的手语识别系统缺乏准确性和实时功能.
- 印度手语 (ISL) 的分类带来了独特的挑战.
研究的目的:
- 开发一个准确和实时的印度手语识别系统.
- 为了克服先前深度学习方法对手语分类的局限性.
- 改善聋社区的沟通可访问性.
主要方法:
- 使用预先训练的VGG16卷积神经网络 (CNN) 与注意力机制.
- 使用亚当优化器和交叉损失函数训练模型.
- 专注于在印度手语中分类23种不同的手姿势.
主要成果:
- 实现了VGG16的97.5%准确度和VGG16的99.8%准确度以及ISL分类的注意力机制.
- 证明了转移学习在ISL认可中的有效性.
- 开发了一个无传感器,实时手语识别系统.
结论:
- 带有注意力机制的VGG16模型显著提高了ISL识别精度.
- 该系统为实时通信辅助提供了具有成本效益和实用的解决方案.
- 这项技术通过弥合沟通差距,赋予发言和听力障碍者权力.
