智能现实生活关键像素图像检测系统用于早期阿拉伯手语手语学习者

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 人与计算机的交互

背景情况:

• 早期的手语学习对听障人口至关重要,但目前的方法面临性能和准确性的局限性.
• 现有的字母和数字检测框架与现实生活中的标志检测扎,导致社会隔离和工作场所的歧视.
• 需要强大而准确的手语识别系统来支持早期学习和沟通.

研究的目的:

• 为早期手语学习者提出一个改进的手语检测方法,即智能手语检测系统 (iSDS).
• 利用深度学习,特别是YOLOv8算法,用于增强特征提取和手语检测.
• 解决现有的手语检测技术在准确性,速度和错误阳性率方面的局限性.

主要方法:

• 开发了智能手语检测系统 (iSDS),使用了You Only Look Once版本8.0 (YOLOv8) 算法.
• 实施了三步框架:图像像素处理,基于相互依赖的像素的特征提取与YOLOv8,以及基于Web的签名者独立性验证.
• 利用深度学习来检测独特的手语特征并提高检测性能.

主要成果:

• 该iSDS系统展示了最先进的性能,达到超过97%的精度,回忆和F1分数.
• 该系统达到87%的平均平均精度 (mAP),表明检测精度很高.
• 实现更快的响应时间和减少误解和推断延迟,提高实时可用性.

结论:

• 拟议的iSDS方法显著提高了早期学习者手语检测的准确性和速度.
• 该系统有效地克服了假阳性率,并提高了手语识别的可靠性.
• 潜在的应用包括持续的手语检测和基于Web的智能识别系统,有利于听力障碍社区.