MindGPT:通过非侵入性大脑记录来解释你看到的东西

科学领域:

• 神经科学是一个神经科学.
• 人工智能的人工智能
• 认知科学 认知科学

背景情况:

• 从大脑信号中解码视觉内容是具有挑战性的,因为图像质量和语义准确性的限制.
• 自然语言生成为解释视觉信息提供了比像素级重建更有效的方法.

研究的目的:

• 介绍MindGPT,一种非侵入性神经解码器,用于将功能磁共振成像 (fMRI) 信号转化为感知到的视觉刺激的自然语言描述.
• 开发一个端到端的模型,能够高准确度的视觉内容解释.

主要方法:

• 使用视觉引导的神经编码器与交叉注意力机制.
• 采用数据增强技术,以自我监督引导潜在的神经表征向语言语义.
• 实现了端到端架构,用于直接将fMRI信号转换为自然语言.

主要成果:

• MindGPT成功生成了词序列,这些词序列准确地代表了所见视觉刺激的基本细节.
• 在MindGPT模型中的神经表示被发现是可解释的,允许分析视觉属性对语言语义的贡献.
• 高视觉皮层 (HVC) 与低视觉皮层 (LVC) 相比,在语言解码方面表现出更大的语义信息性.

结论:

• MindGPT提供了一种可行的非侵入性方法,用于将视觉感知解码为自然语言.
• 这项研究强调了高级视觉皮层对于语言相关任务的语义丰富性.
• 模型表示的可解释性为理解视觉处理及其与语言的联系提供了新的途径.