利用病理学和放射学之间的基于共同注意力的相互作用来预测泛癌存活率

科学领域:

• 在瘤学瘤学.
• 医疗成像医学成像
• 计算病理学计算病理学

背景情况:

• 集成宏观放射学和显微病理学提供了多层次的瘤视图,对于推进瘤学研究至关重要.
• 然而,针对不同癌症类型的生存分析,放射学和病理学数据之间的相互作用尚未得到充分研究.
• 这项研究通过调查泛癌病理-放射学相互作用来改善生存预测来弥补这一差距.

研究的目的:

• 开发和验证基于共同注意的早期融合框架 (PaRa-MIL) 以整合多模式的病理和放射数据.
• 通过利用病理学-放射学相互作用来提高瘤学预后预测.
• 揭示跨癌症病理学-放射学相互作用模式,并在小样本场景中改进生存建模.

主要方法:

• PaRa-MIL框架利用共同注意力将七种癌症类型 (1436名患者) 的病理和放射图像的多方面的特征融合在一起.
• 奥米克斯袋被创造出来,用于预测预后的提取的多模式特征.
• 对不同癌症类型的特征进行了联合训练,以发现跨癌症相互作用,并帮助对生存分析进行少数射击学习.

主要成果:

• 与现有的深度学习方法和传统分阶段系统相比,PaRa-MIL显示出优越的预后预测性能.
• 利用学习的跨癌症相互作用,与从头开始的培训相比,在小样本病例的c指数中,提高了近5%的生存预测.
• 基于梯度的分析确定了跨癌症病理-放射学协同作用的特定形式.

结论:

• 这项研究加深了对瘤学中放射学-病理学相互作用的理解,为癌症成像表型和病理生物学特征提供了洞察力.
• 通过有效整合多模式成像数据,PaRa-MIL促进了更准确的预后预测.
• 这些发现有助于通过先进的成像分析改进癌症诊断和个性化治疗策略.