一个混合CNN转换器框架,由灰狼算法优化,用于准确的手语识别

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 精确地识别动态的手势,特别是美国手语 (ASL),对于辅助通信至关重要.
• 现有的模型在有效捕捉复杂的手语识别的空间和时间特征方面面临挑战.

研究的目的:

• 引入和评估灰狼优化卷积变压器网络 (GWO-CTransNet) 以提高动态手势识别.
• 为了利用混合深度学习方法,将CNN,变压器和GWO结合起来,以获得卓越的性能.

主要方法:

• 开发了一种混合深度学习框架,将卷积神经网络 (CNN) 集成用于空间特征提取和变压器用于时间序列建模.
• 采用灰狼优化 (GWO) 进行高效的超参数调整和模型配置.
• 验证了用于静态和动态符号分类的基准数据集 (ASL Alphabet,ASL MNIST) 的模型.

主要成果:

• 实现了最先进的性能,精度为99.40%,F1分数为99.31%,MCC为0.988和AUC为0.992.
• 超过了现有的模型,包括PCA-IGWO,KPCA-IGWO,GWO-CNN和AEGWO-NET.
• 在各种环境条件下,在实时手势检测方面表现出稳健性.

结论:

• GWO-CTransNet提供了一种强大且可扩展的解决方案,用于基于视觉的手语识别.
• 该模型提供了高精度,快速推断和适应现实世界辅助通信技术的适应性.
• 集成GWO显著提高了融合速度和模型通用性.