以大脑活动为条件的生成对抗网络重建已见的图像
Ghislain St-Yves1, Thomas Naselaris2
1Medical University of South Carolina, Dept. of Neurosciences, 96 Jonathan-Lucas St. CSB 325c, Charleston, SC 29425 USA.
Conference proceedings. IEEE International Conference on Systems, Man, and Cybernetics
|June 19, 2023
概括
研究人员使用生成对抗网络 (GAN) 来从大脑活动 (fMRI) 中重建视觉刺激. 这种方法从神经数据中生成图像轮,克服了噪音,高维的大脑表示的挑战.
科学领域:
- 神经科学是一个神经科学.
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 从大脑活动中重建视觉刺激是具有挑战性的,因为噪音,高维度的神经表示.
- 现有的方法需要强大的先验知识来克服神经数据中不完整的信息.
研究的目的:
- 训练生成对抗网络 (GANs) 以在脑活动测量条件下进行图像重建.
- 解决功能磁共振成像 (fMRI) 数据中的数据限制和噪声,以改进生成建模.
主要方法:
- 开发了一种条件生成模型,使用在代理大脑活动样本上训练的GAN.
- 采用编码模型来生成用于GAN训练的代理大脑活动数据.
- 在视觉刺激感知过程中获得的真实fMRI数据上验证了生成模型.
主要成果:
- 训练的GAN模型成功地对真实fMRI数据进行了概括.
- 该模型能够从大脑活动中重建感知到的视觉刺激的基本轮.
- 使用代用大脑活动样本的策略解决了数据稀缺性和噪声强度.
结论:
- 用替代数据训练有条件的GAN提供了一种可行的方法,用于从大脑活动中重建视觉刺激.
- 这种方法对推进脑-计算机接口和理解视觉神经表示有前途.
- 未来的工作可以更详细地改进重建,并探索其他感官模式的应用.
