探索基于信号的电脑图像生成利用扩散模型的潜力:综合框架,结合混合方法和多模式分析
Chi-Sheng Chen1, Shao-Hsuan Chang1,2, Che-Wei Liu3,4
1Department of Biomedical Engineering, Chang Gung University, Taoyuan, Taiwan.
JMIR medical informatics
|June 25, 2025
概括
这项研究介绍了NECOMIMI,这是一个用于从脑电图 (EEG) 信号生成图像的新框架. 神经-认知多模式EEG信息图像 (NECOMIMI) 系统对大脑-计算机接口显示出前景.
科学领域:
- 神经科学是一个神经科学.
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 脑电图 (EEG) 测量大脑活动,但在从神经信号中准确生成图像方面面临挑战.
- 现有的研究主要集中在EEG信号分类上,对基于EEG的图像生成的探索有限.
- 直接从EEG产生有意义的图像仍然是一个未被充分探索的领域.
研究的目的:
- 推进基于EEG的分类,实现直接图像生成.
- 开发一个新的框架,NECOMIMI,用于合成来自EEG信号的图像.
- 为了克服以前在EEG图像转换中的方法的局限性.
主要方法:
- 一种两阶段的NECOMIMI方法,集成了定制的神经编码表示矢量化器 (NERV) EEG编码器与基于扩散的生成模型.
- 介绍基于类别的评估表 (CAT) 评分,用于评估EEG生成图像的语义质量.
- 使用ThingsEEG数据集验证和比较CAT得分.
主要成果:
- 在零射击分类任务中,NERV EEG编码器实现了最先进的性能 (例如,在双向任务中准确率为94.8%).
- 两阶段的NECOMIMI架构有效地从噪声的EEG信号中提取语义信息,与一阶段方法相比产生更具体的图像.
- 扰动研究表明,依赖于后脑信号来产生语义上连贯的图像.
结论:
- NECOMIMI展示了EEG到图像生成的潜力和挑战.
- 该NERV编码器在零射击分类和EEG信息图像生成方面取得了最先进的结果.
- CAT评分提供了一个新的评估指标,该技术在脑机界面方面具有显著的临床潜力.
