MM-GTUNets:统一的多模态图 深度学习用于大脑疾病预测

科学领域:

• 神经科学是一个神经科学.
• 人工智能的人工智能
• 数据科学数据科学数据科学

背景情况:

• 图表深度学习 (GDL) 显示了通过整合成像和非成像数据来预测基于人口的大脑疾病 (BDs) 的前景.
• 目前的GDL方法与大尺度图形和有限的模式间数据交互作斗争,影响预测性能.
• 现有的方法往往忽略了不同数据模式之间的复杂相关性,导致低于最佳的脑疾病预测结果.

研究的目的:

• 提出MM-GTUNets,一个端到端的基于图形转换器的多模态图形深度学习 (MMGDL) 框架,用于大规模的大脑疾病预测.
• 通过动态图形构建和改进跨模式特征学习,增强利用多模式疾病相关信息.
• 克服现有的GDL方法在处理大规模数据和复杂的脑疾病诊断中复杂的模式间相关性方面的局限性.

主要方法:

• 开发了模式奖励表示学习 (MRRL) 与亲和度量奖励系统 (AMRS) 进行动态人口图形构建.
• 使用变化自编码器将非成像特征的潜在表示与成像特征对齐.
• 引入了使用统一的GTUNet编码器 (结合Graph UNet和Graph Transformer) 和功能融合模块来捕获模式特定和共享功能的自适应式跨模式图形学习 (ACMGL).

主要成果:

• MM-GTUNets在两个公开的多模式数据集:ABIDE和ADHD-200上在诊断大脑疾病方面表现出卓越的表现.
• 该框架有效地建模了多模式人口图,解决了GDL固有的可扩展性问题.
• 实现了复杂的模式间关联的更好的捕捉,从而提高了大脑疾病的诊断准确性.

结论:

• MM-GTUNets提供了一种强大且可扩展的解决方案,用于使用多模式数据预测大脑疾病.
• 拟议的MRRL和ACMGL组件显著改善了多样化数据源的整合和利用.
• 这一框架推动了图形深度学习在临床神经科学和脑疾病诊断中的应用.