当多个实例学习满足基础模型时:进步的组织学全幻灯片图像分析
Hongming Xu1, Mingkang Wang2, Duanbo Shi3
1Cancer Hospital of Dalian University of Technology, Dalian, China; School of Biomedical Engineering, Faculty of Medicine, Dalian University of Technology, Dalian, China; Key Laboratory of Integrated Circuit and Biomedical Electronic System, Liaoning Province, Dalian University of Technology, Dalian, China; Dalian Key Laboratory of Digital Medicine for Critical Diseases, Dalian University of Technology, Dalian, China.
基础模型 (FMs) 通过改进补丁嵌入来增强整个幻灯片图像 (WSI) 的分类,并使癌症分级,生物标志物状态和微卫星不稳定性 (MSI) 的准确预测能够无需注释.
科学领域:
- 计算病理学计算病理学
- 医学中的人工智能.
- 数字病理学数字病理学
背景情况:
- 深度多个实例学习 (MIL) 是整个幻灯片图像 (WSI) 分类的标准.
- 不同的基础模型 (FMs) 和WSI分析的MIL方法的比较性能尚未得到充分证实.
- 补丁级嵌入和幻灯片级聚合策略的变化使比较变得复杂.
研究的目的:
- 系统地比较六种FM和六种MIL方法的性能,用于WSI分类.
- 评估不同特征提取和聚合技术对临床预测任务的影响.
- 评估FMs在促进MIL用于病理诊断中的实用性.
主要方法:
- 实现并比较了六种最先进的FM (CTransPath,PathoDuet,PLIP,CONCH,UNI) 作为补丁级特征提取器.
- 测试了各种功能聚合器,包括基于注意力的聚合,变压器和动态图.
- 评估了4044名患有四种癌症类型的患者在WSIs上的7个端到端预测任务中的表现.
主要成果:
- 在各种数据集 (例如,UNI) 上训练的FM优于通用模型,提高了MIL分类准确性和融合速度.
- 在线功能重新嵌入 (实例功能微调) 通过捕捉细粒度的细节和空间相互作用,进一步增强了WSI分类.
- 在不需要像素或补丁级别的注释的情况下,FMS能够准确地对WSI进行分级,生物标志物状态和MSI预测的分类.
结论:
- 基础模型在计算病理学的整个幻灯片图像分类中显著提升了多个实例的学习.
- 在多样化的组织学数据上训练的特定领域的FM提供了卓越的性能和效率.
- FMs为数字病理学中的关键诊断任务提供了一个强大的,无注释的方法.
更多相关视频
09:33Automated Slide Scanning and Segmentation in Fluorescently-labeled Tissues Using a Widefield High-content Analysis System
Published on: May 3, 2018
08:49Whole-Brain Single-Cell Imaging and Analysis of Intact Neonatal Mouse Brains Using MRI, Tissue Clearing, and Light-Sheet Microscopy
Published on: August 1, 2022
