多模式数据融合用于全片异位病理学图像分类图像分类

科学领域:

• 计算病理学计算病理学
• 人工智能在瘤学中的应用
• 数字病理学数字病理学

背景情况:

• 整个幻灯片图像 (WSIs) 对于癌症诊断至关重要,但存在计算挑战.
• 自动化人工智能工具需要精确的注释和广泛的训练数据.
• 多模式数据集成 (WSIs和病理报告) 可以提高分类准确性并减少变化.

研究的目的:

• 引入MPath-Net,这是一个端到端的多式联络框架,用于增强癌症亚型分类.
• 利用WSIs和病理学报告来改善诊断工作流程.
• 为了证明多式人工智能在病理学中的临床实用性.

主要方法:

• 使用TCGA数据集 (1684例:916例脏,768例肺).
• 应用多实例学习 (MIL) 用于WSI特征提取和句子-BERT用于报告编码.
• 进行关节微调以进行瘤分类.

主要成果:

• MPath-Net实现了94.65%的准确性,0.9553的精度,0.9472的回忆,以及0.9473的F1分数.
• 显著超过基线模型的表现 (P < 0.05).
• 注意热图提供了可解释的瘤组织定位.

结论:

• MPath-Net有效地整合了WSIs和病理学报告,以准确地分类癌症亚型.
• 该框架显示了支持病理学家,提高诊断准确度和减少读者之间的变化方面的巨大潜力.
• 通过在数字病理学中实现多式联络人工智能集成,研究成果推动了精准医学的发展.