通过整合姿势数据和运动历史图像来实现孤立的手语识别
1Department of Computer Engineering, Tokat Gaziosmanpaşa University, Tokat, Turkey.
PeerJ. Computer science
|June 10, 2024
概括
这项研究引入了一种用于隔离手语识别 (SLR) 的新方法,通过将姿势数据与运动历史图像 (MHI) 集成. 开发的基于手指姿势的MHI (FP-MHI) 功能显著提高了手势语言手势的识别精度.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 标语识别 (SLR) 对于通信可访问性至关重要.
- 现有的SLR方法往往难以捕捉手势语言手势的细微细节.
- 整合空间和时间信息是提高SLR性能的关键.
研究的目的:
- 开发一种用于孤立手语识别 (SLR) 的创新方法.
- 通过结合姿势数据和运动历史图像 (MHI) 来提高单反相机系统的准确性和可靠性.
- 为改进手势识别引入基于手指姿势的新型MHI (FP-MHI) 功能.
主要方法:
- 整合来自身体,手和脸部姿势的空间信息与三通道MHI.
- 开发一种基于手指姿势的新型MHI (FP-MHI) 功能.
- 使用线性插值来预测缺失的姿势数据.
- 采用ResNet-18模型,增强随机泄漏纠正线性单元 (RReLU) 激活.
- 提取特征的融合和使用支向量机 (SVM) 的分类.
主要成果:
- 拟议的FP-MHI功能通过捕捉手指运动中的细微差别,显著提高了识别成功.
- 综合方法,包括姿势预测和RReLU增强的ResNet-18与SVM,显示出卓越的性能.
- 在多个基准数据集 (BosphorusSign22k-general,BosphorusSign22k,LSA64,GSL) 中取得了竞争性和优异的结果.
结论:
- 姿势数据和MHI的新整合,特别是FP-MHI功能,代表了孤立手语识别的重大进步.
- 该系统有效地处理手动和非手动手语特征之间的交互.
- 这种方法为单反相机系统提供了更准确,更可靠的解决方案,提高了通信可访问性.
