MYFix:眼球追踪视频的自动固定注释
Negar Alinaghi1, Samuel Hollendonner1, Ioannis Giannopoulos1
1Research Division Geoinformation, Vienna University of Technology, Wiedner Hauptstraße 8/E120, 1040 Vienna, Austria.
Sensors (Basel, Switzerland)
|May 11, 2024
概括
这项研究引入了一种自动化方法,用于在复杂的城市环境中使用YOLOv8和Mask2Former进行注释眼睛跟踪固定点. 该管道实现了高精度,不需要再培训,改进了移动眼睛跟踪研究.
科学领域:
- 计算机视觉 计算机视觉
- 人与计算机的交互
- 移动眼睛追踪器可以追踪眼睛.
背景情况:
- 自动固定点注释对于移动眼球追踪研究至关重要,特别是在动态的城市环境中.
- 由于观察者和环境运动,现有的方法面临挑战,复杂化了数据分析.
- 准确的固定点识别对于理解现实世界场景中的视觉注意力至关重要.
研究的目的:
- 开发一种新的,自动化的管道,用于在移动眼睛跟踪数据中注释固定点.
- 为了利用基础模型 (YOLOv8, Mask2Former) 在没有额外培训的情况下进行强大的注释.
- 为了提高复杂的户外场景中固定点注释的准确性和效率.
主要方法:
- 将用于对象检测的YOLOv8和用于语义分割的Mask2Former集成到一个统一的管道中.
- 使用MS COCO和Cityscapes数据集上的预训练模型,消除了微调的需要.
- 测试管道在控制数据收集和现实世界户外路径实验.
主要成果:
- 在受控环境中实现了89.05%的准确性,在现实世界户外定向场景中达到81.50%的准确性.
- 即使在不同深度的多个物体的场景中,也展示了一致和可靠的注释.
- 报告的平均处理时间为每1.61±0.35秒.
结论:
- 拟议的YOLOv8和Mask2Former管道为移动眼睛跟踪中的自动固定点注释提供了强大的和高效的解决方案.
- 这种方法显著简化了注释过程,使其适合复杂,动态的环境.
- 该方法为研究人员在现实环境中研究视觉注意力的研究提供了可靠的工具.
