基于网络摄像头的目光估计,用于计算机屏幕交互.
Lucas Falch1, Katrin Solveig Lohan1
1Institute for the Development of Mechatronic Systems EMS, Eastern Switzerland University of Applied Sciences (OST), Buchs, Switzerland.
Frontiers in robotics and AI
|April 17, 2024
概括
这项研究引入了一种基于网络摄像头的新目光估计系统. 它精确地跟踪用户的目光和屏幕上的3D位置,即使是头部运动,只使用标准的网络摄像头.
科学领域:
- 计算机视觉 计算机视觉
- 人与计算机的交互
- 机器学习 机器学习
背景情况:
- 传统的眼睛跟踪解决方案往往需要专门的硬件.
- 基于网络摄像头的目光估计面临着头部运动和精确的3D定位方面的挑战.
- 现有的方法可能缺乏准确性或需要额外的设备.
研究的目的:
- 开发和评估一种新的,无标记的,基于网络摄像机的目光估计系统.
- 为了准确地绘制用户的目光向量,并确定计算机屏幕上的3D位置.
- 将拟议系统的性能与高端硬件和现有软件解决方案进行比较.
主要方法:
- 基于外表的目光估计模型被使用.
- 在没有额外标记的情况下使用2D网络摄像头来获取数据.
- 运动结构 (SfM) 被集成到卷积神经网络 (CNN) 模型中,以补偿头部运动.
主要成果:
- 该系统仅使用标准的网络摄像头来展示精确的屏幕目光跟踪.
- 介绍了一种计算与屏幕的物理距离的新方法.
- 集成SfM有效地弥补了头部曲面旋转,这是一个共同的挑战.
- 对比分析显示,与专用眼球追踪器和软件相比,其性能具有竞争力.
结论:
- 精确的目光估计和3D定位可以通过单个标准的网络摄像头来实现.
- 拟议的SfM-CNN集成为目光跟踪中的头部运动补偿提供了一个强大的解决方案.
- 这项研究为可访问和先进的现实世界目光估计应用铺平了道路.
