通过用户通用的超声波人机接口进行虚拟现实交互,用于手腕和手部跟踪

科学领域:

• 人与计算机的交互
• 可穿戴技术可穿戴技术
• 生物医学工程 生物医学工程

背景情况:

• 传统的输入设备对于沉浸式虚拟现实 (VR) 是不切实际的.
• 存在对VR的便携式,准确和强大的控制接口的需求.
• 可穿戴式传感器可以弥合现实世界意图和虚拟行动之间的差距.

研究的目的:

• 开发和评估一个易于穿戴,干接触的超声波腕带用于VR控制.
• 使用超声波数据预测手和手腕动态,以实现无VR交互.
• 为了证明超声波接口在用户和会话中的稳定性和概括能力.

主要方法:

• 收集了配对超声波和手动力学数据.
• 训练有素的监督深度学习模型来预测超声波的动力学.
• 调查的数据转移 (会内,跨会,跨参与者) 和它们的影响.
• 开发了数据调节,增强和引用策略,以提高准确性.
• 将接口集成到实时VR控制框架中.

主要成果:

• 从超声波数据中准确地预测了手动力学.
• 尽管有各种数据转移,但表现强.
• 在VR任务中启用精确控制,并模拟接触物理.
• 展示了对未见的用户的概括,而不需要微调.

结论:

• 基于超声波的技术显示出作为VR接口的巨大潜力.
• 开发的腕带提供了一个便携式,准确和强大的解决方案,用于沉浸式交互.
• 提出的方法减轻了混因素,并提高了现实世界VR应用的预测准确性.