在虚拟多任务中预测和解释认知负载,注意力和工作记忆

科学领域:

• 虚拟现实 (VR) 和人机交互 (HCI)
• 认知科学与神经科学
• 机器学习和数据科学

背景情况:

• 虚拟现实 (VR) 环境越来越需要多任务处理,这给用户带来了重大的认知挑战.
• 在复杂的VR环境中,有效的导航严重依赖于注意力和工作记忆等认知功能.
• 现有的研究往往忽视了在VR中与注意力和工作记忆一起对认知负载 (身体和精神压力) 的综合预测.

研究的目的:

• 在VR多任务场景中研究物理负载,心理负载,工作记忆和注意力的预测.
• 利用VRWalking数据集,其中包括眼睛跟踪,头部跟踪和生理测量 (心率,电磁皮肤反应).
• 应用深度学习模型,在沉浸式虚拟环境中准确预测认知和性能指标.

主要方法:

• 利用开源VRWalking数据集,其中包含时间标记,标记的数据,用于身体负荷,精神负荷,工作记忆和注意力.
• 使用简单的深度学习模型来预测标记的认知指标.
• 进行了SHAP (夏普利添加式扩展) 分析,以确定关键的预测特征.

主要成果:

• 实现了高预测准确度:身体负荷为91%,精神负荷为96%,工作记忆为93%,注意力为91%.
• SHAP分析确定了影响用户认知状态预测的关键特征.
• 证明了深度学习在分析复杂的VR交互数据中的有效性.

结论:

• 该研究使用深度学习和生理数据成功预测了VR多任务中的关键认知状态.
• 研究结果为VR和认知科学研究人员提供了关于数据收集和分析的宝贵见解.
• 结果为VR开发人员提供了基础,以创建可适应系统,以优化用户体验并实时减少认知压力.