一个多式视觉变压器,用于功能和结构神经成像数据的可解释融合
Yuda Bi1, Anees Abrol1, Zening Fu1
1Tri-institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS), Georgia Tech, Emory, Atlanta, Georgia, USA.
Human brain mapping
|November 27, 2024
概括
这项研究介绍了MultiViT,一种新的AI模型,它融合了结构和功能脑成像数据,以改善精神分裂症诊断. 多模式方法提高了诊断准确度,并确定了与疾病相关的关键大脑区域.
科学领域:
- 神经成像是一种神经成像.
- 人工智能的人工智能
- 脑部疾病 脑部疾病
背景情况:
- 多模式神经成像与深度学习AI相结合,为大脑疾病提供了先进的诊断能力.
- 整合结构和功能成像对于全面的诊断至关重要,结构数据与阿尔茨海默氏症相关,功能数据与精神分裂症相关.
研究的目的:
- 开发和评估MultiViT,这是一种新的深度学习模型,用于融合结构性MRI和功能性MRI数据,用于诊断精神分裂症.
- 为了提高基于人工智能的自动化神经成像诊断精神分裂症的准确性.
主要方法:
- 开发了MultiViT,一种使用视觉转换器和交叉注意力的深度学习模型,将3D灰色物质地图 (结构MRI) 与功能网络连接矩阵 (通过ICA进行功能MRI) 融合在一起.
- 评估了MultiViT的性能与单模和多模基线相比.
主要成果:
- 多ViT实现了0.833的曲线下的面积 (AUC),在精神分裂症分类中表现优于基线模型.
- 使用MultiViT的注意力图和交叉注意力机制,确定了与精神分裂症特征相关的关键大脑区域.
结论:
- MultiViT在基于人工智能的自动神经成像诊断精神分裂症方面表现出卓越的准确性.
- 开创了一种先进的数据融合方法,通过将功能网络连接与结构灰色物质数据集成,使生物标志物在3D空间中的定位成为可能.
