基于转换器的多个实例学习,以定位编码为指导,用于整体幻灯片图像分类的整体病理学
相关实验视频
Updated: Jun 7, 2025
04:48
Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique
Published on: July 5, 2024
369
Jun Shi1, Dongdong Sun2, Kun Wu3
1School of Software, Hefei University of Technology, Hefei, 230601, Anhui Province, China.
Computer methods and programs in biomedicine
|November 16, 2024
概括
本研究引入了一种基于转换器的多实例学习 (PEGTB-MIL) 方法,用于整张幻灯片图像的分类. PEGTB-MIL通过将空间信息纳入补丁特征来增强病理诊断,提高癌症亚型和基因突变预测的准确性.
科学领域:
- 计算病理学计算病理学
- 数字病理学数字病理学
- 机器学习在医疗保健中的应用
背景情况:
- 全幻灯片图像 (WSI) 分类对于计算机辅助的病理诊断至关重要.
- 弱监督的方法,特别是多重实例学习 (MIL),由于注释成本高,引起了人们的注意.
- 现有的MIL方法往往忽视图像补丁之间的空间关系,可能会限制特征区分能力.
研究的目的:
- 提出一种基于转换器的多实例学习 (PEGTB-MIL) 的新型位置编码导向转换器方法,用于组织病理学WSI分类.
- 将补丁的空间定位属性编码为语义特征,以提高WSI分类性能.
- 通过整合空间和语义信息来探索补丁之间的相关性.
主要方法:
- 从WSI补丁中提取深度特征,并使用位置编码器编码它们的2D空间信息.
- 将语义特征与空间嵌入结合起来.
- 应用多头自我注意力 (MHSA) 来分析上下文和空间依赖性,并通过辅助重建任务来增强空间语义一致性.
主要成果:
- 在公共TCGA数据集 (TCGA-LUNG,TCGA-BRCA) 和内部临床数据集 (USTC-EGFR,USTC-GIST) 上验证了PEGTB-MIL方法.
- 在癌症亚型和基因突变状态预测方面表现出有效性.
- 与最先进的方法相比,实现了优越的性能,AUC为97.13±0.34%,86.74±2.64%,83.25±1.65%和72.52±1.63%在各自的数据集上.
结论:
- PEGTB-MIL有效地利用位置编码来指导和增强MIL,以改善WSI分类.
- 辅助重建模块成功地保持了补丁特征的空间语义一致性.
- 这项研究强调了位置信息在疾病诊断中的重要性,提供了一个有前途的研究方向.
