优化仅用编码器的变压器的限制,用于模拟用人姿势估计的手语,关键数据点数据

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 监督深度学习模型需要规范化,以防止过拟合,这是一个因超参数调整而复杂的过程.
• 了解个别超参数和规范化技术的影响对于优化研究中的模型性能至关重要.

研究的目的:

• 为了进行一个全面的,大规模的废弃研究,只用编码器的变压器进行手语建模.
• 评估各种规范化和数据增强技术对标志分类准确性的影响.
• 为了识别性能约束和优化手语建模任务.

主要方法:

• 利用了改进的Word级美国手语数据集 (WLASL-alt) 和人类姿势估计关键数据.
• 在仅用编码器的变压器架构上进行了大规模的废弃研究.
• 测量了各种模型参数规范化和数据增强技术对分类准确性的影响.

主要成果:

• 除了L2参数规范化外,测试的技术对性能没有显著的积极影响,这与之前的一些研究相矛盾.
• 发现模型架构的性能受到有限的数据集大小的限制.
• 在使用基本模型配置的100个标志上实现了84%的新基准top-1分类准确度.

结论:

• 对于这种特定的手语建模任务,常见的规范化和数据增强技术的有效性有限.
• 数据集大小是当前架构在手语分类中实现更高性能的关键瓶.
• 该研究为超参数优化提供了宝贵的见解,并为WLASL-alt数据集设定了新的性能基准.