Gesture2Text:一个可通用的解码器,用于XR的文字手势键盘,通过轨迹粗分离和预训练

科学领域:

• 人与计算机的交互
• 虚拟现实和增强现实
• 机器学习 机器学习

背景情况:

• 文字手势键盘 (WGK) 是扩展现实 (XR) 中的关键交互,但由于不同的交互模式和数据模式,解码文字手势轨迹是复杂的.
• 像SHARK2这样的模板匹配方法很常见,但与杂的轨迹作斗争,而传统的神经解码器需要广泛的数据和专业知识.
• 现有的方法在准确性,数据要求和WGK系统的实施复杂性方面面临挑战.

研究的目的:

• 为WGK系统开发一种新的,可通用的神经解码器,该解码器将易于实现与高解码精度相结合.
• 解决现有的模板匹配和基于神经网络的解码器对于WGK轨迹解码的局限性.
• 创建一个即用WGK解码器,适用于各种XR环境和交互类型.

主要方法:

• 提出了一种可通用的神经解码器,可以通过对大规模,粗略分离的文字手势轨迹进行预训练来实现.
• 在增强现实 (AR) 和虚拟现实 (VR) 中对空中和地面WGK系统评估解码器的性能.
• 将预先训练的解码器量化为4MB,并在Quest 3设备上测量其实时执行性能.

主要成果:

• 在四个不同的数据集中实现了强大的平均Top-4准确率90.4%,证明了广泛的概括性.
• 显著优于SHARK2的37.2%和传统的神经解码器的7.4%.
• 量子解码器保持了准确度,虽然只有4MB,在Quest 3上在97毫秒内执行,从而实现实时性能.

结论:

• 拟议的预训练的神经解码器为XR中WGK轨迹解码提供了高度准确和高效的解决方案.
• 这种方法克服了现有方法的局限性,为各种AR和VR应用提供了可泛化和易于实施的解码器.
• 解码器的小尺寸和实时功能使其适合在资源有限的XR硬件上部署.