在眼睛图像中精确地定位角膜反射,使用在合成数据上训练的深度学习

科学领域:

• 计算机视觉 计算机视觉
• 生物医学工程 生物医学工程
• 机器学习 机器学习

背景情况:

• 准确的角膜反射 (CR) 定位对于凝视估计至关重要.
• 监督学习用于CR检测通常需要对真实眼睛图像进行广泛的手动注释,这耗时且昂贵.
• 数据的可用性是开发眼睛跟踪应用程序的强大深度学习模型的一个重要瓶.

研究的目的:

• 开发和评估一种深度学习方法,用于准确地定位单角膜反射 (CR) 中心.
• 为了证明仅在合成数据上的训练的有效性,消除了对真实眼睛图像手动注释的需要.
• 为了解决数据可用性挑战,开发深度学习模型以进行目光估计.

主要方法:

• 一个卷积神经网络 (CNN) 已开发和专门训练在含有角膜反射 (CRs) 的合成眼睛图像.
• 使用具有不同背景和噪音水平的合成图像系统评估了该方法的准确性.
• 进一步评估了两个独立的真实视频数据集的性能,与最先进的算法方法进行了比较.

主要成果:

• 深度学习方法在真实眼睛的图像上取得了卓越的性能,与现有方法相比,空间误差减少了3-41.5%.
• 在合成图像上,该方法在空间准确性方面与最先进的方法相提并论.
• 在培训中使用合成数据成功绕过了手工注释的需要.

结论:

• 提出的方法为角膜反射 (CR) 中心定位提供了精确有效的解决方案.
• 仅在合成数据上训练深度学习模型是一个可行的策略,以克服凝视估计中的数据稀缺问题.
• 这种方法有可能显著提高基于CR的眼球追踪器的准确性和精度.