一个集成的神经网络模型,用于在人与计算机交互期间进行眼睛跟踪

科学领域:

• 人与计算机的交互
• 航空航天工程 航空航天工程
• 计算机视觉 计算机视觉

背景情况:

• 提高人机交互 (HCI) 对智能飞机驾驶至关重要.
• 凝视互动提供了一种有前途的方法来减少操作员的工作量并增强互动智能.
• 有效的眼睛跟踪对于成功的目光互动至关重要,直接影响系统性能.

研究的目的:

• 为飞机驾驶HCI.开发一种精确的眼球追踪方法.
• 仅使用面部图像,在多个屏幕上实现目光估计.
• 为了克服操作员凝视跟踪中头部运动的限制.

主要方法:

• 一个多摄像头系统捕获面部图像,允许不受限制的头部运动.
• 一个混合神经网络结合了全球特征的变压器和本地特征的CNN.
• 两个分支的特征都被融合在一起,用于强大的眼球跟踪和凝视估计.

主要成果:

• 拟议的方法有效地估计了操作员在多个屏幕上的视线位置.
• 与现有模型相比,它显著提高了视线估计的准确性.
• 该系统在不同大小的目标中实现了超过80%的捕获率.

结论:

• 开发的眼睛跟踪方法通过允许自然的目光互动来增强飞机驾驶中的HCI.
• 它提供了一个解决方案,尽管头部运动有限,但可以准确地估计目光.
• 混合网络方法展示了卓越的性能和稳定性.