双重焦点-3D:一种混合深度学习方法,用于稳固的3D视线估计
Abderrahmen Bendimered1, Rabah Iguernaissi1, Mohamad Motasem Nawaf1
1Laboratoire d'Informatique et des Systèmes, CNRS UMR 7020, Aix-Marseille University, 13009 Marseille, France.
Sensors (Basel, Switzerland)
|July 12, 2025
概括
这项研究介绍了双重焦点-3D,这是一种新的深度学习模型,可以通过将眼睛图像和3D头部姿势融合来准确地估计目光. 它在新的EyeLis数据集上取得了最先进的结果.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人与计算机的交互
背景情况:
- 凝视估计对于理解人类注意力至关重要.
- 现有的方法在自然环境中扎.
- 应用范围从辅助技术到虚拟现实.
研究的目的:
- 开发一个强大而准确的目光估计模型.
- 为了引入一种新的混合深度学习架构.
- 为培训和评估提供新的数据集.
主要方法:
- 开发了双重焦点-3D,一种混合深度学习架构.
- 融合了基于外观的眼睛特征与3D头部定向数据.
- 引入了5206个注释样本的EyeLis数据集.
主要成果:
- 在EyeLis数据集上,实现了最先进的性能,平均绝对误差 (MAE) 为1.64°.
- 在合成和真实数据集之间展示了有效的概括.
- 通过结合3D空间信息,展示了显著的精度改进.
结论:
- 双重焦点-3D模型在视线估计中提供了更高的准确性和稳定性.
- 多模式功能融合和3D空间信息是提高性能的关键.
- EyeLis数据集促进了对3D目光预测的进一步研究.
