混合BCI-VR系统中的三手互动:整合视线,EEG控制以增强3D对象操纵

科学领域:

• 神经科学与人机交互
• 虚拟现实和BCI集成
• 辅助技术的发展

背景情况:

• 目前的大脑与计算机接口 (BCI) 和虚拟现实 (VR) 系统在实现直观的多肢控制方面面临挑战.
• 现有框架通常需要专门的硬件或广泛的培训,限制了可访问性.

研究的目的:

• 开发和验证一个消费级混合BCI-VR框架,用于同时控制两个生物手和一个虚拟的第三肢.
• 调查使用注意力门和视线跟踪在虚拟现实中的直观超数肢控制的可行性.
• 评估系统的性能,工作量和实施方案的神经生理相关性.

主要方法:

• 集成的 Tobii 眼球追踪器,NeuroSky EEG 和非触觉控制器用于混合 BCI-VR 系统.
• 使用e-Sense注意力值 (>80%对300ms) 进行虚拟手动激活和视线驱动的准.
• 使用软最大权重仲裁算法来解决输入冲突和自适应性认知负载管理.

主要成果:

• 在解决时空冲突方面取得了92.4%的成功率和87.5%的虚拟手的成功率.
• 空间误差减少了41% (σ = 0.23毫米而不是0.39毫米),NASA-TLX的工作量减少了22%.
• 观察到特征性β频段能量调制,表明虚拟肢体的注意力介导实施方式.

结论:

• 复杂的算法可以克服消费者级硬件的局限性,
• 开发的框架可以为康复,培训和辅助技术提供可访问的三手VR应用程序.
• 在VR中展示了注意力驱动的超数肢体体现的神经生理证据.