一个基于超图的模型用于瘤预后,使用H&E染色组织学图像上的本地和全球信息融合
Chao Tang1, Jun Liu2, Yanfen Cui3
1College of Information Engineering, Northwest A&F University, Yangling, 712100, Shaanxi, China; Department of Radiology, Guangdong Provincial People's Hospital (Guangdong Academy of Medical Sciences), Southern Medical University, Guangzhou 510080, China; Guangdong Provincial Key Laboratory of Artificial Intelligence in Medical Image Analysis and Application, Guangzhou 510080, China.
这项研究介绍了HeMiCoRe,这是一种新的深度学习模型,用于使用组织病理学幻灯片进行癌症预后. 它在多种癌症类型中实现了最先进的生存预测,改善了临床决策.
科学领域:
- 计算病理学计算病理学
- 人工智能在瘤学中的应用
- 数字组织病理学 数字组织病理学
背景情况:
- 准确的癌症预后对于治疗决策至关重要.
- 从千兆像素的组织病理学幻灯片中提取预后信息是具有挑战性的.
- 现有的深度学习模型在各种癌症类型的幻灯片级上下文和概括性方面扎.
研究的目的:
- 开发一种新的深度学习框架,从组织病理学幻灯片中改善癌症预后.
- 在幻灯片中增强本地和全球上下文信息的建模.
- 为了在多种癌症类型和数据集中实现卓越的概括性.
主要方法:
- 提出了一个基于超图的多实例对比增强学习模型 (HeMiCoRe).
- 综合集群局限的局部特征和跨集群的全球表示,来自10种癌症类型的5196个H&E染色幻灯片.
- 利用超图神经网络来预测生存结果,利用形态和空间关系.
主要成果:
- 在10种癌症类型中的8种癌症中实现了最先进的 (SOTA) 性能.
- 与现有的弱监督方法相比,表现出优越的概括能力.
- 成功地整合了本地和全球的幻灯片级信息,用于预后预测.
结论:
- HeMiCoRe提供了一个强大的框架,用于癌症预后使用组织病理学图像.
- 该模型对临床采用和支持治疗决策具有重大前景.
- 超图神经网络有效地捕捉复杂的关系,以改善生存结果的预测.
更多相关视频
09:53Quantifying the Brain Metastatic Tumor Micro-Environment using an Organ-On-A Chip 3D Model, Machine Learning, and Confocal Tomography
Published on: August 16, 2020
06:05Author Spotlight: Multiplex Immunofluorescence Combined with Spatial Image Analysis for the Clinical and Biological Assessment of the Tumor Microenvironment
Published on: June 2, 2023