美国手语识别和翻译使用感知神经元可穿戴惯性运动捕捉系统

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 人与计算机的交互

背景情况:

• 由于有限的数据集和复杂的数据采集,手语识别面临着挑战.
• 可穿戴的惯性运动捕获系统为捕获手语数据提供了一个潜在的解决方案.

研究的目的:

• 使用可穿戴惯性运动捕捉创建一个全面的美国手语 (ASL) 数据集.
• 开发和评估ASL句子识别和端到端翻译的深度学习模型.

主要方法:

• 从三个志愿者那里收集了300个常见的ASL句子的数据集,使用可穿戴的惯性运动捕捉系统.
• 设计了一种结合卷积神经网络,双向长期短期记忆和连接主义时间分类的识别网络.
• 开发了一个基于长期短期记忆的编码解码器模型,全球关注翻译.

主要成果:

• 识别模型在单词层面达到99.07%,在句子层面达到97.34%的准确性.
• 端到端的翻译模型实现了一个词错误率为16.63%.

结论:

• 拟议的方法证明了使用惯性传感器数据准确识别和翻译ASL的潜力.
• 这种方法可以通过提供可靠的手语解释来提高聋人社区的沟通可访问性.