迈向墨西哥手语识别系统:手臂运动检测系统
Gabriela Hilario-Acuapan1, Keny Ordaz-Hernández1, Mario Castelán1
1Robotics and Advanced Manufacturing Department, Centre for Research and Advanced Studies (CINVESTAV), Ramos Arizpe 25900, Mexico.
Sensors (Basel, Switzerland)
|June 27, 2025
概括
本研究介绍了一种通过分析手臂运动来识别墨西哥手语 (LSM) 的新系统. 使用姿势估计和卷积神经网络 (CNN),该系统显示了对LSM标志的分类有希望的结果.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 语言学的语言学.
背景情况:
- 墨西哥手语 (LSM) 的识别是一个新兴领域.
- 现有的系统通常在识别动态标志组件方面存在局限性.
研究的目的:
- 为墨西哥手语 (LSM) 开发一个强大的识别系统.
- 专注于分析手臂运动 (AM) 功能以进行标志分解.
主要方法:
- 在聋人社区和LSM专家的参与下开发了一个专有数据集.
- 使用姿势估计 (YOLOv8) 来从手臂运动中提取关节路径数据.
- 使用卷积神经网络 (CNN) 来对标志进行视觉模式分类.
主要成果:
- 这种方法成功地分析了手臂关节运动 (手腕,肩膀,肘部) 的视觉模式.
- 姿势估计为CNN分类生成了关节路径的形状.
- 在对符号子集的分类方面取得了有希望的结果.
结论:
- 提出的基于姿势估计的方法表明了建立有效的LSM识别系统的潜力.
- 这种方法可以通过专注于手臂运动来分类广泛的迹象.
