一个使用面部地标跟踪的分类模型来确定美国手语识别的句子类型

科学领域:

• 计算机视觉 计算机视觉
• 人与计算机的交互
• 语言学的语言学.

背景情况:

• 聋人和听力障碍者社区主要使用美国手语 (ASL).
• 在紧急情况下进行有效的沟通对于没有口译员的ASL用户来说是一个挑战.
• 现有的ASL解释模型往往缺乏面部暗示集成,这对于ASL细微差别至关重要.

研究的目的:

• 为ASL解释开发一个计算高效的面部表情分类模型.
• 通过整合关键的面部线索来增强实时ASL口译系统.
• 为了提高基于计算机视觉的ASL翻译的性能和可靠性.

主要方法:

• 利用面部地标的相对角度来提取特征.
• 应用主要组件分析 (PCA) 用于缩小维度.
• 采用随机森林分类模型来区分句子类型 (陈述与断言).

主要成果:

• 面部表情分类模型的准确度达到86.5%.
• 成功地将ASL框架归类为基于面部暗示的陈述或断言.
• 在ASL解释中证明了面部表情分析的有效性.

结论:

• 面部暗示对于准确的ASL解释至关重要,并且可以有效地建模.
• 拟议的模型提供了一种简单而有效的方法来增强ASL口译技术.
• 这项研究有可能显著改善ASL社区的沟通可访问性.