AudioGest:使用音频设备进行虚拟现实基于手势的交互

科学领域:

• 人与计算机的交互
• 虚拟现实系统 虚拟现实系统
• 声学传感 声学传感 声学传感

背景情况:

• 目前的虚拟现实 (VR) 系统依赖于摄像头,手柄和触摸屏进行手势交互.
• 现有的方法受到设备形状因素的限制,不能将交互扩展到墙壁或桌子等表面.
• 在VR中存在可扩展和多功能交互方法的需求.

研究的目的:

• 介绍AudioGest,这是一个用于将VR交互扩展到任意表面的新系统.
• 开发一种便携式的,插即用解决方案,用于使用音频信号进行手势检测.
• 展示AudioGest在各种VR应用中的潜力.

主要方法:

• AudioGest使用一组麦克风设备来检测来自手指在表面上的相互作用 (敲击,滑动) 的音频信号.
• 基于微接触动态模拟的音频合成识别管道,为不同的材料生成模态音频.
• 与真实音频混合的合成音频被用作训练数据来验证准确性和有效性.

主要成果:

• 该系统成功地产生了反映材料特性和物理相互作用的合成音频.
• 拟议的音频合成识别管道证明了手势检测的准确性和有效性.
• 开发了桌面办公应用程序,展示了AudioGest在VR中的可扩展性和多功能性.

结论:

• AudioGest提供了一个便携式,无校准的解决方案,用于扩大VR交互区域.
• 该系统利用声学传感,在墙壁和桌子等表面上实现直观的手势输入.
• AudioGest为增强虚拟现实的沉浸式和交互式功能提供了一种有前途的方法.