统一的跨模态注意力混合器基于结构功能连接学融合用于神经精神疾病诊断

科学领域:

• 神经科学是一个神经科学.
• 人工智能的人工智能
• 医疗成像医学成像

背景情况:

• 了解大脑机制对于神经精神疾病如精神分裂症至关重要.
• 传统的多式联机深度学习方法难以充分利用互补的结构和功能连接经济学数据.
• 改善诊断性能需要先进的功能融合技术.

研究的目的:

• 提出ConneX,一种新的多式联接融合方法,用于整合结构和功能大脑连接学数据.
• 通过利用跨模式相互作用来提高神经精神疾病的诊断性能.
• 通过交叉注意力机制和MLP-Mixer来改进特征融合.

主要方法:

• 使用模式特定的骨干图神经网络 (GNN) 来进行特征表示.
• 实施了统一的跨模式注意网络,以融合嵌入和捕捉交互.
• 雇佣了MLP-Mixer层来完善全球和本地特征,并利用更高层次的依赖关系.
• 使用多头关节损失进行端到端分类.

主要成果:

• 在两个不同的临床数据集上,ConneX表现出更好的性能.
• 该框架有效地整合了大脑的结构和功能连接.
• 评估强调了拟议方法的稳定性和增强的诊断能力.

结论:

• ConneX为大脑连接学提供了多式联络融合的重大进步.
• 该方法为改善神经精神疾病的理解和诊断提供了一个强大的方法.
• 这项研究为神经科学中更准确的诊断工具铺平了道路.