一个双流深度学习框架,用于持续的手语识别,以提高海尔地区的通信可访问性
Haifa Harrouch1,2, Hanene Guesmi1,2, Hany Alalfy3,2
1Computer Science Department, Applied College, University of Ha'il, PO Box 2440, 55476, Ha'il City, Saudi Arabia.
Scientific reports
|February 3, 2026
概括
这项研究引入了一种双流卷积神经网络 (TS-CNN) 用于手语识别,通过模拟手势和头部运动来提高准确性. 这提高了聋人沟通的可访问性.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 手势识别对于人机交互 (HCI) 和手语沟通至关重要.
- 自动手语识别通常忽略了诸如头部姿势和面部表情等非手动元素,从而限制了准确性.
- 提高聋人社区的生命质量是一个重要的目标.
研究的目的:
- 开发一个先进的手语识别系统,包括手动和非手动功能.
- 为了提高连续手语识别的准确性和时间调整.
- 通过更好的通信技术,提高聋人生活质量.
主要方法:
- 开发了一种双流卷积神经网络 (TS-CNN),以分别处理手动和头部位置.
- 采用了融合技术来增强两个流之间的特征相关性和表示.
- 使用特征增强模块 (FEM) 改进了光泽水平预测和时间对齐.
主要成果:
- TS-CNN框架显示了对基准数据集 (RWTH-PHOENIX-Weather 2014和CSL Split II) 的识别性能显著提高.
- 实现了竞争性文字错误率 (WER),验证了该模型的有效性.
- 该系统成功模拟了连续手语识别的复杂多模式性质.
结论:
- 拟议的TS-CNN有效地整合了手和头部运动,以实现更准确的手语识别.
- 包括非手动功能显著提高了自动手语识别系统的性能.
- 这项研究有助于推进HCI和聋人社区的可访问性.
