多实例多任务学习用于联合临床结果和基因组特征预测从组织病理图像

科学领域:

• 数字病理学数字病理学
• 瘤学中的深度学习
• 计算生物学是一种计算生物学.

背景情况:

• 整片病理图像 (WSIs) 对于癌症诊断至关重要.
• 深度学习模型越来越多地用于预测分类 (诊断) 和连续变量 (生存,基因表达).
• 现有的模型经常单独处理预测任务,缺少可以提高性能的内在相关性.

研究的目的:

• 提出一个通用的多实例多任务学习框架 (HistMIMT) 来从WSIs进行多用途预测.
• 为了应对深度学习模型中WSI大尺寸和粗标签的挑战.
• 为了提高性能,利用不同预测任务之间的相关性.

主要方法:

• 开发了一种新的多实例学习模块 (TMICS) 来生成特定任务的袋子表示.
• 引入了基于软面具的融合模块与道注意力 (SFCA),以跨任务集成信息.
• 从癌症基因组图谱 (TCGA) 中对三个癌症队列进行了HistMIMT框架的评估.

主要成果:

• 在多个预测任务中,HistMIMT表现出卓越的性能,包括癌症诊断,生存预测和TP53基因表达估计.
• 多任务学习方法有效地利用了任务之间的相关性.
• 该框架在所有评估的临床预测任务中表现优于现有方法.

结论:

• HistMIMT提供了一个强大的和可通用的框架,用于从WSIs进行多用途预测.
• 通过多实例多任务学习整合多个相关任务,可以显著提高预测准确度.
• 这种方法对推进数字病理学和精确瘤学具有前景.