用单个摄像头进行无接触QWERTY打字的文字级运动学习
Sung-Sic Yoo1, Heung-Shik Lee1
1Department of Smart Mobility Engineering, Joongbu University, 305 Dongheon-ro, Deogyang-gu, Goyang-si 21713, Gyeonggi-do, Republic of Korea.
Sensors (Basel, Switzerland)
|February 27, 2026
概括
这项研究表明,通过分析手指运动模式,可以使用单个摄像头在单词层面上识别非接触式打字. 这种方法学习和适应,为基于相机的文本输入提供了一种新方法.
科学领域:
- 计算机视觉 计算机视觉
- 人与计算机的交互
- 机器学习 机器学习
背景情况:
- 基于视觉的文本输入对于沉浸式和受限制的环境至关重要.
- 目前的方法通常依赖于脆弱的字符级别识别或单个摄像头的密钥定位.
- 单眼传感对准确的非接触式文本输入提出了挑战.
研究的目的:
- 通过使用单个RGB相机,研究文字级非接触式打字识别的可行性.
- 开发一个框架,直接将打字动作识别为文字层面的模式.
- 评估拟议方法的稳定性和适应性.
主要方法:
- 开发了一种单词级非接触式打字框架,将单词模拟为从手关节轨迹的时空指部运动模式.
- 打字动作被暂时细分,方向感知指的移位被积累为动作表示.
- 使用试验延迟适应协议的在线学习被用于更新单词运动原型.
主要成果:
- 最多200个单词的实验证明了逐渐的学习和记忆单词级运动模式.
- 在测试的单用户,单摄像头设置中,在现实的打字速度下实现了稳定的识别性能.
- 学习的运动表示从物理键盘转移到平面打字,即使减少了触觉和视觉线索.
结论:
- 无接触式打字可以有效地重新构成一个词级动作回忆问题.
- 拟议的方法显示了作为限制单眼传感的补充输入方法的潜力.
- 在特定场景中,文字级动作模式识别为以角色为中心的方法提供了强大的替代方案.
