使用信托标记和惯性传感器进行实时手部跟踪的混合方法
Ranjeet Bidwe1, Shubhangi Deokar1, Yash Parkhi1
1Department of Computer Science and Engineering, Symbiosis Institute of Technology, Pune Campus, Symbiosis International (Deemed University), Pune 412115, India.
MethodsX
|January 6, 2026
概括
这项研究引入了一种混合式手跟踪系统,使用信托标记,电容感应和惯性测量来在沉浸式环境中准确地识别手势. 经济高效,轻量级的硬件实现了高精度和强大的手指状态识别.
科学领域:
- 人与计算机的交互
- 机器人技术 机器人技术 机器人技术
- 沉浸式技术 沉浸式技术
背景情况:
- 实时手势识别对于在虚拟现实 (VR) 和增强现实 (AR) 中的直观交互至关重要.
- 现有的手追踪系统经常面临准确性,稳定性或计算成本方面的挑战.
- 结合多种传感方式的混合方法可以克服单个传感器的局限性.
研究的目的:
- 开发和评估一项具有成本效益的混合手跟踪技术,用于实时手势识别.
- 为了实现高精度的3D手姿势估计,手指状态识别和方向跟踪.
- 在可变条件下验证系统的性能,并评估通信权衡.
主要方法:
- 整合了ArUco标记器检测用于3D手姿势,指状态的电容传感器,以及用于定向的惯性测量单元 (IMU).
- 在轻量级硬件 (Raspberry Pi Zero 2 W,ESP32) 上实现,并优化图像处理以检测标记.
- 通过蓝牙低能耗 (BLE) 和WebSocket进行数据传输以进行同步,并进行延迟和可靠性测试.
主要成果:
- 实现了3.4毫米的定位精度,85-91%的定位精度和~2.9毫米的手动姿势关键点精度.
- 使用电容传感器,通过96.1%的准确度证明了强大的指纹状态识别.
- 验证的通信协议:Wi-Fi用于高吞吐量 (~467ms/s) 和BLE用于低延迟 (~50ms,>98%可靠性).
结论:
- 混合手跟踪系统为沉浸式环境提供了更高的准确性,响应性和稳定性.
- 模块化和可扩展的设计适用于VR/AR交互,辅助技术和教育.
- 这种具有成本效益的解决方案最大限度地降低了计算开销,同时提供可重现的结果.
