胡巴:基于fNIRS在AR指导系统中探索人类行为的视觉分析工具

科学领域:

• 人与计算机的交互
• 认知科学 认知科学
• 数据可视化 数据可视化

背景情况:

• 智能增强现实 (AR) 助手需要环境感知,推理和无互动.
• 现有的AR视觉分析系统缺乏用户建模,生物识别数据集成和支持非线性,多会话任务分析.

研究的目的:

• 为智能AR助手提出一种新的视觉分析系统.
• 为了能够在多个任务会话中比较性能,包括非线性任务.
• 使用生物识别 (fNIRS) 和运动数据集成和可视化用户行为.

主要方法:

• 开发用于AR的视觉分析系统.
• 功能近红外光谱 (fNIRS) 数据的整合用于认知状态评估.
• 整合运动数据 (加速,角速度,目光) 用于行为分析.
• 创建嵌入式表示,以分组类似的任务会话.
• 使用直升机副驾驶员培训数据的案例研究.

主要成果:

• 该系统可视化传感器数据流以及感知和推理模型输出.
• 用户行为通过fNIRS和运动数据进行分析,使人们能够洞察知觉,注意力和记忆.
• 该系统有助于在多个非线性任务会话中比较性能.
• 嵌入式表示允许轻松选择具有类似用户行为的会话.

结论:

• 拟议的视觉分析系统增强了对复杂AR任务中用户行为的理解.
• 它支持分析非线性任务和多个会话,克服了以前系统的局限性.
• 生物识别和运动数据的整合为用户的性能和认知状态提供了更深入的见解.