电子凝视:用事件摄像机进行凝视估计

科学领域:

• 计算机视觉 计算机视觉
• 生物医学工程 生物医学工程
• 神经科学是一个神经科学.

背景情况:

• 接近眼睛的目光估计传统上使用基于的摄像头.
• 事件摄像机提供高速和动态范围,非常适合快速眼动.
• 现有的方法与基于事件的数据不兼容,原因是它们的特性不同.

研究的目的:

• 开发一个实时凝视估计系统,仅使用基于事件的摄像头数据.
• 分析近眼事件数据模式并提取相关的眼睛特征.
• 调整算法以适应事件摄像头流的独特特性.

主要方法:

• 开发了一个实时管道,通过分析事件数据分布 (极地,空间,时间) 来提取学生特征.
• 利用一个循环神经网络与一个新的坐标对角度损失函数用于凝视预测.
• 从事件摄像头处理异步,稀疏的数据流.

主要成果:

• 实现了高精度的实时凝视估计,角精度为0.46度.
• 证明系统更新速率为950Hz,适用于跟踪快速眼动.
• 成功处理基于事件的数据以进行目光估计,一种新的方法.

结论:

• 开发的系统只使用事件摄像头数据,可以实现准确的,高速的目光估计.
• 这项工作开创了仅基于事件流的目光估计,打开了新的应用可能性.
• 这些发现突出了事件摄像机在人机交互和眼睛追踪研究中的潜力.