给我一个信号:使用数据手套进行静态手形状识别
Philipp Achenbach1, Sebastian Laux1, Dennis Purdack1
1Serious Games Group, Technical University of Darmstadt, 64289 Darmstadt, Germany.
Sensors (Basel, Switzerland)
|December 23, 2023
概括
本研究介绍了一种使用数据手套进行虚拟现实 (VR) 通信的手形识别系统. 该系统在区分各种手势方面实现了高精度,增强了沉浸式VR体验.
科学领域:
- 计算机科学 计算机科学
- 人与计算机的交互
- 虚拟现实 虚拟现实 虚拟现实
背景情况:
- 传统的计算机通信方法,如键盘和麦克风,限制了对虚拟现实 (VR) 的沉浸.
- 麦克风并不总是适合VR,因为无声指令需要或用户的限制,如听力损失.
- 数据手套提供了一种自然的交互方法,在VR中捕捉非语言线索和手势语言的手形.
研究的目的:
- 开发和评估使用Manus Prime X数据手套在VR中进行非语言通信的手形识别系统.
- 调查异常值检测和特征选择对分类准确性和时间的影响.
- 评估数据增强的有效性,以创建一个更普遍的识别方法.
主要方法:
- 使用Manus Prime X数据手套进行数据采集和预处理.
- 实施异常值检测和特征选择技术.
- 应用数据增强来扩展培训数据集.
- 使用各种机器学习模型对56种不同的手形状进行分类,包括投票元分类器 (VL2) 和随机森林 (RF).
主要成果:
- 该系统在56个手形中达到高达93.28%的精度,在27个手形中达到95.55%的精度.
- 异常值检测显著改善了分类时间.
- 数据增强增强了识别系统的通用性.
- 投票元分类器 (VL2) 提供了最高的准确性,而随机森林提供了良好的速度和准确性的平衡.
结论:
- 开发的使用数据手套的手形识别系统在VR中有效实现非语言通信.
- 预处理技术,包括异常值检测和特征选择,对于优化性能至关重要.
- 数据增强有助于为VR应用程序提供更强大和更可通用的手形识别模型.
