在语言引导的对比学习中识别EEG中的自然图像.

科学领域:

• 神经科学是一个神经科学.
• 计算机科学 计算机科学
• 人工智能的人工智能

背景情况:

• 脑电图 (EEG) 提供非侵入性脑信号采集,但在像图像识别等复杂任务的信号质量和解码精度方面面临挑战.
• 之前的研究表明,在解码EEG图像信息方面取得的成功有限,主要是由于性能限制和生物可信性问题.

研究的目的:

• 引入和验证自主监督的学习框架,用于识别来自EEG信号的图像.
• 通过整合大型语言模型 (LLM) 来增强对EEG数据的语义理解.
• 提供基于EEG的图像识别的可行性和生物可信性的证据.

主要方法:

• 一个自我监督的框架,利用对比学习来调整EEG反应与图像刺激.
• 整合由LLM生成的语言描述,以指导核心语义信息的学习.
• 在THINGS-EEG2数据集上使用零射击学习任务进行验证.

主要成果:

• 在THINGS-EEG2数据集上实现了明显高于偶然的性能,在200路零射击任务中,top-1精度为19.7%,top-5精度为51.5%.
• 从时间,空间,光谱和语义角度进行的实验分析支持了这些发现的生物学可信性.
• 与THINGS-Magnetoencephalography (MEG) 数据集的比较研究证实了这些结果.

结论:

• 开发的框架证明了从EEG信号识别图像的可行性,并通过LLM指导的语义学习来增强.
• 这些结果为基于EEG的图像识别的生物可信性提供了有力的证据.
• 这些发现对推进神经解码和脑计算机接口 (BCI) 在医疗保健和机器人等领域具有重大意义.