路径感知多模式变压器 (PAMT):整合病态图像和基因表达用于可解释的癌症生存分析
IEEE transactions on pattern analysis and machine intelligence
|September 18, 2025
概括
本研究介绍了一种通路感知多模式变压器 (PAMT) 用于癌症生存分析,将基因表达和病理图像集成在一起. 通过模拟生物途径和图像补丁之间的细粒度相互作用,PAMT提高了准确性,改善了预后预测.
科学领域:
- 计算生物学是一种计算生物学.
- 生物信息学是一种生物信息学.
- 医疗图像分析 医学图像分析
背景情况:
- 多模式数据集成,结合基因表达和病理图像,提供优越的癌症存活分析与单模式方法相比.
- 现有的方法往往忽略了模式之间的详细相互作用,特别是生物途径和特定图像区域之间的详细相互作用.
研究的目的:
- 为可解释的癌症存活率分析提出一种新的途径意识多式变压器 (PAMT) 框架.
- 增强对生物通路和病理图像补丁之间的微粒相互作用的理解.
主要方法:
- PAMT框架采用了三阶段的过程:使用变压器进行模式内交互,用于模式间对齐的无标签对比损失,以及由路径先验指导的路径到补丁交叉融合模块.
- 这种方法通过将路径信息与图像特征集成来建模基因型-表型关系.
主要成果:
- 在三种癌症数据集上,PAMT框架显示了与最先进的方法相比显著的性能改善 (膀皮质癌,肺状细胞癌,肺腺癌).
- 交叉融合模块提供了可解释性,使其能够识别关键路径和受影响的图像区域.
结论:
- 拟议的PAMT框架有效地整合了多模式数据,以改善癌症存活率预测.
- PAMT的可解释性有助于病理学家了解整个幻灯片图像 (WSIs) 上的特定途径影响,并识别预后模式.
