多任务时空图形自动编码器用于手动动作解读

科学领域:

• 计算机视觉 计算机视觉
• 人与计算机的交互
• 机器学习 机器学习

背景情况:

• 精确的手跟踪对于沉浸式的人与计算机交互至关重要.
• 原始的手动数据往往会受到噪音和闭塞的影响,导致交互滞后.
• 预测未来的手动对于实时响应至关重要.

研究的目的:

• 开发一种新的模型,同时识别和预测手动.
• 为了提高HCI应用程序的手跟踪的准确性和减少延迟.
• 为了提高绩效,利用消除和预测任务之间的相互依赖性.

主要方法:

• 介绍了多任务空间时间图形自动编码器 (Multi-STGAE) 模型.
• 集成了一个门机制,以防止任务之间的负面转移.
• 利用空间时间图形自编码块与图形卷积网络用于运动建模.
• 开发了一种新的手部分区策略和手部骨损失,用于自然运动生成.

主要成果:

• 多STGAE模型有效地否认和预测手动,超过了最先进的方法.
• 多任务框架表明,消除和预测之间存在互利.
• 介绍了两个大规模数据集和两个结构指标来评估手动的自然性.
• 验证了模型保持运动动态的能力,避免过度平滑的结果.

结论:

• 多-STGAE模型提供了一个强大的解决方案,用于在HCI中准确和快速响应的手跟踪.
• 拟议的多任务学习方法显著提高了杀和预测能力.
• 该方法有助于更自然和沉浸式的人与计算机交互体验.