多式变压器网络用于不完整的图像生成和阿尔茨海默病的诊断

科学领域:

• 神经成像是一种神经成像.
• 人工智能在医学中的应用
• 医学诊断 医学诊断 医学诊断

背景情况:

• 多模式神经成像 (MRI,PET) 为诊断诸如阿尔茨海默病 (AD) 等神经退行性疾病提供了补充的见解.
• 临床实践经常面临不完整的多式模式脑图像数据集,阻碍了准确的诊断.
• 现有的方法很难有效地利用不完整的多式联络数据进行疾病分类.

研究的目的:

• 开发一个深度学习框架,用于生成缺失的多式联机大脑图像数据.
• 通过使用完整的多式联络数据集,加强神经退行性疾病的诊断.
• 改善在临床环境中对不完整的神经成像数据的利用.

主要方法:

• 提出了一个多级指导生成对抗网络 (MLG-GAN),用于生成缺失的图像数据,并结合了voxel,功能和任务级指导.
• 在MLG-GAN中引入了一个特征级自动回归分支,以准确嵌入目标图像特征.
• 开发了一种多式变压器 (Mul-T) 网络用于疾病分类,利用交叉模式的关注来整合全球/本地特征和交叉模式的相关性.

主要成果:

• MLG-GAN有效地产生了缺失的多式联络脑图像数据.
• 与最先进的方法相比,Mul-T网络在阿尔茨海默病诊断方面表现出卓越的表现.
• 在ADNI-1,ADNI-2和OASIS-3数据集上的实验验证实了框架的有效性.

结论:

• 拟议的深度学习框架成功地解决了不完整的多式联络神经成像数据的挑战.
• 该方法显著改善了神经退行性疾病的图像生成和疾病诊断准确性.
• 这种方法为在临床诊断中利用不完整的多模式脑扫描提供了一个有希望的解决方案.