从老鼠大脑活动中基于扩散模型的图像生成
Kotaro Yamashiro1, Nobuyoshi Matsumoto1,2, Yuji Ikegaya1,2,3
1Graduate School of Pharmaceutical Sciences, The University of Tokyo, Tokyo, Japan.
PloS one
|September 6, 2024
概括
这项研究引入了一种新的脑计算机接口 (BCI) 方法,该方法使用深度学习直接从连续的大脑活动中生成图像. 这种新的方法成功地可视化了神经动态,为艺术表达和大脑功能研究开辟了道路.
科学领域:
- 神经科学是一个神经科学.
- 计算机科学 计算机科学
- 人工智能的人工智能
- 艺术 艺术 艺术 艺术
背景情况:
- 脑电脑接口 (BCI) 技术在临床和辅助应用中越来越多地使用.
- BCI能够进行沟通,控制和监测认知和情感状态.
- 当前的BCI艺术应用通常使用特定的大脑信号 (例如P300,SSVEP) 来控制工具,而不是直接从神经活动中生成图像.
研究的目的:
- 开发一种新的方法,直接从连续的大脑活动中生成图像,使用隐性扩散模型.
- 为了证明这种方法的可行性,使用来自老鼠新皮层的局部场势.
- 探索创造性表达和可视化大脑功能的新可能性.
主要方法:
- 使用潜伏扩散模型,深度神经网络架构.
- 将模型应用于从自由移动的老鼠新皮质中记录的连续局部场势.
- 开发了一个端到端的系统,用于从神经数据中实时生成图像.
主要成果:
- 该系统成功地将连续的大脑活动转化为图像.
- 生成的图像反映了底层神经活动的动态和随机性质.
- 通过直接图像生成展示了一种可视化大脑功能的新方法.
结论:
- 开发的BCI方法为创作艺术和可视化大脑活动提供了一个新的范式.
- 这种方法超越了控制工具,直接将神经信号转化为视觉输出.
- 这些发现为人机交互,艺术表达和神经科学研究打开了新的可能性.
