自主监督学习与适应频率时间注意力变压器用于预测和分类

科学领域:

• 深度学习 (Deep Learning) 是一种深度学习.
• 神经科学是一个神经科学.
• 生物医学信号处理

背景情况:

• 改善电脑电图 (EEG) 功能提取对于基于深度学习的精确预测和分类至关重要.
• 传统的监督方法需要大量的标记数据,这阻碍了大规模的培训.
• 现有的自我监督的方法与EEG噪声和信号退化作斗争,影响性能.

研究的目的:

• 开发一个自主监督学习的变压器网络,具有自适应频率时间注意力 (AFTA),用于从未标记的数据中强大的EEG特征表示.
• 为了提高特征提取在EEG信号中对噪声的强度.
• 为了提高下游任务的性能,如预测和分类.

主要方法:

• 提出了一个自主监督的学习变压器网络,集成了自适应频率-时间注意力 (AFTA) 机制.
• 在未标记的EEG数据上使用掩盖和重建框架预训练变压器网络.
• 在AFTA内集成了一个自适应频率过模块 (AFFM),用于自适应频率域过,结合时间注意力.

主要成果:

• 在TUSZ,TUAB和TUEV EEG数据集中实现了最先进的性能.
• 获得了最高的AUROC (0.891),平衡精度 (0.8002),加权F1得分 (0.8038) 和科恩的卡帕 (0.6089).
• 在发作检测和分类方面表现出强度和概括能力.

结论:

• 拟议的AFTA增强的变压器网络有效地学习了用于分析的强大的EEG特征.
• 该方法通过减轻噪音影响来克服传统和现有的自我监督方法的局限性.
• 这些发现突出了使用自主监督学习改进自动预测和分类的潜力.