迷你变压器:用于大脑功能网络分析的极简变压器

科学领域:

• 神经科学是一个神经科学.
• 机器学习 机器学习
• 医学诊断 医学诊断 医学诊断

背景情况:

• 估计和分类大脑功能网络 (BFNs) 对神经和精神疾病的早期预测至关重要.
• 传统方法将BFN估计和分类分开,限制了联合优化.
• 变压器模型为BFNs提供端到端的学习,但受到大参数和糟糕的解释性的影响.

研究的目的:

• 为改进BFN估计和分类提出一个极简的变压器架构 (Miniformer).
• 为了应对大数据需求和医疗应用中模型可解释性需求的挑战.
• 开发Miniformer的变体,将域名知识纳入用于增强的fMRI信号分析.

主要方法:

• 通过将变压器的自我注意力投影矩阵简化为单个对角矩阵,引入了Miniformer.
• 开发了Miniformer变体,用于fMRI信号处理,具有稀疏性和光滑性约束.
• 在三个用于诊断脑疾病的公共数据集上评估了Miniformer及其变体.

主要成果:

• 迷你器显著降低了模型参数,减轻了过拟合,提高了可解释性.
• 拟议的变体有效地将领域知识 (稀疏性和流性) 整合到 BFN 分析中.
• 实验表明,与现有方法相比,Miniformer及其变体实现了更高的分类性能.

结论:

• 迷你器为BFN分析提供了一个计算高效和可解释的方法.
• 该模型的设计促进了先前知识的整合,这对医疗AI至关重要.
• 迷你变压器及其变体在早期发现和诊断脑部疾病方面显示出显著的前景.