RGBE-Gaze:一个大型基于事件的多模式数据集,用于高频远程注视跟踪

科学领域:

• 计算机视觉 计算机视觉
• 人与计算机的交互
• 生物医学工程 生物医学工程

背景情况:

• 高频视线追踪对于形染和医学诊断等应用至关重要.
• 目前的系统在频率,功耗和舒适性方面面临限制,特别是在远程场景中.
• 现有的事件摄像头数据集仅限于近视应用,忽视了远程跟踪的好处.

研究的目的:

• 引入第一个大型的多式联络数据集 (RGBE-Gaze),用于高频远程视线追踪.
• 开发和评估适合此数据集的混合框架事件目光估计方法.
• 为了证明将事件流纳入远程凝视跟踪系统的好处.

主要方法:

• 从66名参与者收集了多式联络数据集,同步了RGB和事件摄像头.
• 捕获了360万张RGB图像,263亿个事件样本和精确的目光引用.
• 开发了一种混合框架事件凝视估计方法,并评估了基准测试方法.

主要成果:

• RGBE-Gaze数据集提供了包括头部姿势,目光方向和瞳孔大小在内的全面数据.
• 拟议的混合方法显示了改善的凝视跟踪频率和稳定性.
• 事件流集成显著提高了各种因素的估计性能.

结论:

• RGBE-Gaze是推动高频远程目光追踪研究的宝贵资源.
• 混合框架事件方法为更准确和更强大的目光估计提供了有希望的方向.
• 事件摄像头为舒适有效的远程眼球追踪应用提供了新的可能性.