EEG-CLIP:从自然语言描述中学习EEG表示法

科学领域:

• 计算神经科学是一种神经科学.
• 机器学习 机器学习
• 医疗信息学 医疗信息学

背景情况:

• 目前用于电脑电图 (EEG) 解码的深度学习模型通常被训练为单个,特定的任务,如病理学或年龄识别.
• 一种更普遍的方法涉及训练模型将EEG记录与相应的临床文本描述联系起来,灵感来自计算机视觉中的图像字幕匹配.
• 这种无关任务的策略使用文本提示方便零射击解码.

研究的目的:

• 开发一种名为EEG-CLIP的对比学习框架,用于在共享嵌入空间中将脑电图 (EEG) 时间序列与临床文本描述对齐.
• 调查EEG-CLIP在各种几次射击和零次射击学习场景中实现多功能EEG解码的潜力.
• 建立一种学习一般EEG表示的方法,以支持各种解码任务.

主要方法:

• 开发了EEG-CLIP框架,这是一个对比式学习模型,旨在将EEG时间序列和相关的临床文本描述映射到统一的嵌入空间中.
• 在多个几次拍摄和零拍摄解码任务中评估了模型的性能.
• 使用了一个数据集,包括临床EEG记录和相应的文字医疗报告.

主要成果:

• EEG-CLIP成功地实现了文本描述和EEG表示之间的非微不足道的对齐.
• 该模型在多功能EEG解码任务中表现出有效性,特别是在少数拍摄和零拍摄设置中.
• 学习的一般EEG表示表现显示出对简化分析各种解码问题的承诺.

结论:

• 拟议的EEG-CLIP框架为学习通用EEG表示提供了一个有希望的方法.
• 这种方法可以通过实现零射击解码和提高训练任务特定模型的效率来显著提高EEG分析,而数据有限.
• 该代码的可用性有助于可复制性和进一步研究可泛化EEG解码.