一个深度神经网络框架,用于听力和语音障碍社区的动态双手印度手语识别

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 人与计算机的交互

背景情况:

• 有效的沟通至关重要,特别是弥合听力和语言障碍者的差距.
• 使用手语进行手势识别,由于信号的多样性,因此面临复杂的挑战.
• 现有的方法经常与动态的细微差别作斗争,多手的手语.

研究的目的:

• 为双手手语的手语提出一个新的识别框架.
• 提高手语识别模型的准确性和概括性.
• 促进听力和言语障碍者更好地沟通.

主要方法:

• 开发了一个带有适应性金枪鱼群优化 (ECT-ATSO) 框架的增强卷积变压器.
• 应用图像预处理以提高质量和模型概括性.
• 用于本地特征的特征粒度和全球特征的ViT,由反向剩余输送网络 (IRFFN) 连接和处理.
• 优化了增强卷积变压器 (ECT) 模型,使用增强的鱼群优化 (TSO) 算法与突变运算符.

主要成果:

• 与现有方法相比,拟议的ECT-ATSO框架显示出更高的有效性.
• 在数据集可视化中实现了高识别准确性和趋同.
• 综合方法成功地处理了多个动态单词和复杂的手势.

结论:

• ECT-ATSO框架在双手手语识别方面取得了重大进展.
• 这项技术有可能大大提高听力和语言障碍者的通信可访问性.
• 优化的模型显示了人类与计算机交互中的真实应用的有希望的结果.