跨模式的变压器模型利用DCE-MRI和病理图像来预测乳腺癌的病理完整反应和淋巴结转移

科学领域:

• 在瘤学瘤学.
• 医疗成像医学成像
• 人工智能的人工智能

背景情况:

• 病理诊断是乳腺癌评估的黄金标准,对于预测治疗反应和转移至关重要.
• 动态对比增强磁共振成像 (DCE-MRI) 提供了对瘤特征的非侵入性见解.
• 整合DCE-MRI和病理数据以提高治疗预测需要进一步探索.

研究的目的:

• 开发和评估一种跨模式图像转换器 (CMIT) 模型,用于预测乳腺癌的病理完整反应 (pCR) 和淋巴结转移 (LNM).
• 通过特征合成和融合,探索DCE-MRI和组织病理学之间的协同作用.
• 为了提高预测准确度,特别是当一个成像模式不可用时.

主要方法:

• 提出了一个跨模态图像变压器 (CMIT) 模型,利用变压器的 CA 模块进行模态交互.
• 开发了一种模式信息传输模块,用于从DCE-MRI生成合成病理图像特征 (sPIF) 和从病理图像生成合成DCE-MRI特征 (sMRIs).
• 使用真实和合成成像特征训练模型,在预测过程中将合成特征与真实特征融合在一起.

主要成果:

• 将DCE-MRI与sPIF集成的CMIT模型实现了pCR预测的AUC为0.809,超过了单独的MRI.
• 将基因病理学与sMRI整合在一起,为pCR预测产生了0.852的AUC.
• 对于LNM预测,该模型将DCE-MRI的AUC从0.637提高到0.712,并达到DCE-MRI引导的基因病理学方法的0.792.

结论:

• 该CMIT模型有效地整合了多模式成像数据,以改善乳腺癌治疗反应预测.
• 该模型在预测pCR和LNM方面表现强,超过了单个模式预测.
• 最重要的是,该模型能够使用DCE-MRI可靠地预测治疗反应,即使没有组织病理图像.