多尺度高效的图形转换器用于整个幻灯片图像分类
IEEE journal of biomedical and health informatics
|September 19, 2023
概括
一个新的多尺度高效图形转换器 (MEGT) 框架有效地对千兆像素整片图像 (WSI) 进行癌症诊断. MEGT使用基于双图的变压器分支和一个新的融合模块来处理大规模的医疗图像数据.
科学领域:
- 数字病理学数字病理学
- 计算瘤学是一种计算瘤学.
- 医疗图像分析 医学图像分析
背景情况:
- 多尺度信息对于从整个幻灯片图像 (WSIs) 中准确诊断癌症至关重要.
- 现有的多尺度视觉变压器与千兆像素WSIs的巨大尺寸作斗争.
- 高分辨率医疗成像数据的高效处理仍然是一个挑战.
研究的目的:
- 引入一个全新的多尺度高效图形转换器 (MEGT) 框架,用于整个幻灯片图像 (WSI) 的分类.
- 为了解决处理千兆像素WSIs的当前方法的局限性.
- 用大规模的组织病理学数据提高癌症诊断的准确性和效率.
主要方法:
- 提出了一个多尺度高效图形转换器 (MEGT) 框架,利用两个独立的高效图形转换器 (EGT) 分支用于低分辨率和高分辨率的WSI补丁嵌入.
- 集成图形表示在EGT内的变压器中,以捕捉空间关系和局部-全球信息.
- 开发了一种新的多尺度特征融合模块 (MFFM),以交叉关注来弥合不同分辨率特征之间的语义差距.
- 在EGT中实施了令牌修剪模块,以减少冗余的令牌和加速培训.
主要成果:
- 在WSI分类任务中,MEGT框架表现出了显著的有效性.
- 在TCGA-RCC和CAMELYON16数据集上的实验验证了拟议模型的性能.
- 双分支方法和MFFM成功地处理了千兆像素WSIs中的多尺度信息.
结论:
- 拟议的MEGT框架提供了一种有效的解决方案,用于癌症诊断,使用大规模的整片图像.
- MEGT克服了与千兆像素WSI分析相关的计算挑战.
- 这种方法促进了深度学习在数字病理学和计算瘤学中的应用.
