印度手语的高级手势识别使用YOLOv10与Swin Transformer模型的协同作用组合
Umang Rastogi1,2, Rajendra Prasad Mahapatra3, Sushil Kumar4
1Department of Computer Science and Engineering, SRM Institute Science and Technology Delhi-NCR Campus, Delhi-Meerut Road, Ghaziabad, 201204, Uttar Pradesh, India. rastogi225103@gmail.com.
Scientific reports
|September 25, 2025
概括
本研究介绍了使用YOLOv10-ST模型的实时印度手语识别 (ISLR) 系统. 该框架在识别静态和动态符号方面取得了很高的准确性,改善了聋个体的沟通.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 由于语言障碍,聋和听力人士之间的有效沟通是具有挑战性的.
- 印度手语识别 (ISLR) 系统对于弥合这种沟通差距至关重要.
- 现有的系统可能缺乏实时功能或在动态标志识别方面遇到困难.
研究的目的:
- 提出一个新的,实时的印度手语识别 (ISLR) 框架.
- 为了提高特征提取和检测准确度ISL.
- 促进手语使用者与非使用者之间无沟通.
主要方法:
- 开发了YOLOv10-ST模型,将Swin变压器与YOLOv10架构集成在一起.
- 整合了Mish激活功能,以改善梯度流和检测.
- 培训和评估是基于15,000张静态图像和35张动态视频的定制数据集.
主要成果:
- 高性能指标:97.50%的精度,98.10%的回忆,96.58%的F1分数用于静态标志识别.
- 动态手势的强有力的结果:95.24%的精度,96.00%的回忆,95.87%的F1分数.
- 实现了97.62%的mAP和48.7 FPS的实时推断速度,计算开销最小.
结论:
- YOLOv10-ST模型展示了静态和动态印度手语的高效和准确的实时识别.
- 整合了Swin变压器和Mish激活,大大提高了模型的性能.
- 拟议的框架提供了一个可行的解决方案,以提高聋社区的通信可访问性.


