一个共享的机器人控制系统,结合了增强现实和运动图像的大脑-计算机接口与眼睛跟踪.
Arnau Dillen1, Mohsen Omidi2, Fakhreddine Ghaffari3
1Human Physiology and Sports Physiotherapy Research Group, Vrije Universiteit Brussel, Pleinlaan 2, Brussel, 1050, BELGIUM.
Journal of neural engineering
|September 25, 2024
概括
这项研究开发了一种使用运动图像 (MI) 和增强现实 (AR) 进行机器人手臂控制的脑计算机接口 (BCI). 整合AR和眼睛跟踪提高了BCI日常任务的可用性,尽管解码神经信号存在挑战.
科学领域:
- 神经科学与人与计算机的交互
- 开发使用脑计算机接口 (BCI) 的辅助技术.
背景情况:
- 大脑计算机接口 (BCI) 系统提供了通过神经活动控制设备的潜力,但实际应用受到非静止电脑图 (EEG) 信号解码方面的挑战所阻碍.
- 基于运动图像 (MI) 的BCI在准确和可靠的解码方面遇到了困难,这限制了它们与传统交互方法相比的实际使用.
研究的目的:
- 引入一种新的运动图像 (MI) 脑计算机接口 (BCI) 控制策略,用于操作物理辅助机器人手臂.
- 解决电脑电图 (EEG) 信号解码在运动成像 (MI) 中的固有挑战,用于BCI应用.
- 通过使用增强现实 (AR) 和眼睛跟踪来评估集成BCI系统的可用性,有效性和效率.
主要方法:
- 使用商业硬件开发了一个概念验证的BCI控制系统,在增强现实 (AR) 用户界面中集成运动图像 (MI) 与眼睛跟踪.
- 实施了共享控制方法,系统根据用户的目光提出行动,通过想象的动作进行选择.
- 进行了用户研究,以评估系统在模拟现实任务中的性能和可用性.
主要成果:
- 参与者成功地使用机器人手臂执行模拟的日常任务,在实际场景中展示了共享控制系统的可行性.
- 尽管在线解码性能低 (精度:0.52,F1:0.29),但参与者在用户研究中获得了高的平均成功率 (0.83),并且有足够的任务时间 (15分钟).
- 当任务时间限制在5分钟时,成功率显著下降,这表明效率挑战.
结论:
- 整合增强现实 (AR) 和眼睛跟踪显著提高了BCI系统的可用性,即使是复杂的运动图像-EEG解码.
- 该研究验证了拟议方法的有效性,表明BCI系统可以成为未来日常应用的可行交互模式.
- 需要进一步的研究,以提高BCI系统在时间有限的任务中的效率.


