M 2 FTrans:用于不完整的多模式脑瘤细分的模式掩盖融合变压器

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算生物学 计算生物学

背景情况:

• 脑瘤细分对于诊断和治疗计划至关重要.
• 目前的方法通常需要完整的多模式MRI数据,这在临床上并不总是可用.
• 现有的融合策略因缺少的模式而扎,导致细分性能降低.

研究的目的:

• 提出一个新的框架,M2FTrans,在不完整的多模式MRI设置下进行强大的脑瘤细分.
• 制定一个有效的跨模式功能融合战略,以应对缺失数据的挑战.
• 在现实世界的临床场景中提高脑瘤细分的可靠性和准确性.

主要方法:

• 开发了M2FTrans,这是一个使用模态掩盖核聚变器的框架.
• 引入可学习的融合令牌和掩盖的自我注意力,以处理缺失的输入和捕获远程依赖.
• 集成的空间重量关注和通道智能融合变压器用于模式再平衡和功能冗余减少.

主要成果:

• 在各种不完整的多模式设置中,M2FTrans在脑瘤细分方面表现出卓越的性能.
• 该框架在BraTS2018,BraTS2020和BraTS2021数据集上显著超过了最先进的方法.
• 拟议的融合策略被证明是强大的缺失的模式,保持高细分精度.

结论:

• M2FTrans提供了一个强大的和有效的解决方案,用于大脑瘤细分与不完整的多模式MRI数据.
• 该框架能够处理缺失的模式,这代表了临床应用的重大进步.
• 这项研究强调了模态掩盖的融合变压器在医学图像分析中的潜力.