HaHeAE:在扩展现实中学习人类手和头部运动的可概括的联合表示
概括
我们开发了HaHeAE,这是一种新的自我监督方法,用于学习扩展现实 (XR) 中手和头部运动的联合表示. 这种方法显著提高了性能,并使新的XR应用成为可能.
科学领域:
- 人与计算机的交互
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 手和头的运动是扩展现实 (XR) 中的主要输入方法.
- 现有的XR模型往往专注于单一的模式 (手或头) 或特定的应用,限制了通用性.
- 需要一种方法,可以在XR中共同模拟复杂的手和头部运动.
研究的目的:
- 介绍HaHeAE,一种新的自我监督方法,用于学习XR中手和头部运动的可概括的联合表示.
- 证明HaHeAE在改善重建质量和实现新的XR应用方面的有效性.
- 展示自我监督学习在XR中模拟人类行为的潜力.
主要方法:
- HaHeAE使用自主监督的自动编码器 (AE) 架构.
- 它包含基于图形卷积网络的语义编码器和基于扩散的随机编码器.
- 一个基于扩散的解码器重建了原来的手头运动信号.
主要成果:
- HaHeAE显著优于现有的自我监督方法,在重建质量方面取得了高达74.1%的改进.
- 该方法在各种用户,活动和XR环境中展示了可通用性.
- HaHeAE能够实现新的应用程序,如可解释的手头集群识别和生成运动建模.
结论:
- HaHeAE是一种有效的自我监督方法,用于在XR中共同学习手和头部运动表示.
- 与以前的方法相比,拟议的方法提供了优越的性能和通用性.
- 自主监督学习具有显著的潜力,可以在XR中推进人类行为的理解和应用.
