实时手和物体识别用于虚拟交互的实时手和物体识别

科学领域:

• 计算机视觉 计算机视觉
• 人与计算机的交互
• 扩展现实 (XR)

背景情况:

• 识别手物互动是具有挑战性的,因为变化和封闭.
• 从单个中估计3D手的位置是很困难的,尤其是视图受阻.

研究的目的:

• 开发一种新的实时方法,用于在XR环境中识别手物互动.
• 为了促进与物理对象的虚拟交互,使用方向盘作为案例研究.

主要方法:

• 一个管道结合MediaPipe用于手动地标检测.
• 更快的基于区域的卷积神经网络 (Faster R-CNN) 用于方向盘跟踪.
• 一个手势识别模块,使用单个RGB摄像头数据分析手动方向盘交互.

主要成果:

• 展示了物理物体和虚拟环境之间的自然和现实的相互作用.
• 在方向盘操纵场景中,在识别手对象相互作用方面展示了精度和稳定性.
• 验证了拟议模型管道的实时性能.

结论:

• 开发的系统有效地识别了XR中的手对象交互.
• 这种方法增强了虚拟环境中的用户体验,并且在减少真实世界的排放方面有潜在的应用.
• 该系统为虚拟对象操纵提供了一个稳定而精确的方法.