多模式交叉注意网络用于阿尔茨海默病诊断,具有多模式数据

科学领域:

• 神经科学是一个神经科学.
• 医疗成像医学成像
• 人工智能的人工智能

背景情况:

• 阿尔茨海默氏病 (AD) 是导致痴呆的主要原因,因此早期诊断AD和轻度认知障碍 (MCI) 是至关重要的.
• 现有的深度学习模型经常连接多模式数据特征,忽视它们的表示空间的差异.
• 神经成像 (sMRI,FDG-PET) 和脑脊液 (CSF) 生物标志物提供了互补的诊断信息.

研究的目的:

• 为改善AD和MCI检测提出一个新的多模态交叉注意力AD诊断 (MCAD) 框架.
• 有效地学习不同数据模式之间的相互作用,以提高诊断准确度.
• 利用跨模式的注意力来整合成像和非成像数据.

主要方法:

• 开发了一个MCAD框架,用于成像数据的级联扩展卷积和非成像数据的CSF编码器.
• 引入了一个多模式交互模块,采用交叉模式的注意力来融合sMRI,FDG-PET和CSF生物标记信息.
• 设计了一个客观的功能,以最大限度地减少模式间的差异,并改善特征融合.

主要成果:

• 与现有方法相比,MCAD框架在ADNI数据集上的AD相关分类任务中取得了更高的性能.
• 跨模式关注显著改善了用于诊断任务的多模式数据的整合.
• 分析证实了每个模式的贡献以及交叉注意力机制的有效性.

结论:

• 拟议的MCAD框架证明了跨模式关注在整合各种生物标志物的有效性,以准确诊断AD.
• 通过交叉注意力结合多模式数据,为早期发现阿尔茨海默病和MCI提供了有希望的方法.
• 该方法为提高神经退行性疾病研究中的诊断性能提供了强大的工具.