基于金字塔的自主监督学习用于基因病理图像分类的图像分类
Junjie Wang1, Hao Quan2, Chengguang Wang3
1Ningbo Artificial Intelligence Institute of Shanghai Jiao Tong University, Zhejiang 315000, PR China; Department of Automation, Shanghai Jiao Tong University, Shanghai 200240, PR China.
Computers in biology and medicine
|September 14, 2023
概括
本研究介绍了基于金字塔的局部波纹变压器 (PLWT),这是一种用于医学成像的自我监督学习方法. PLWT有效地从组织病理学图像中提取特征,在可转移性和竞争性性能方面优于传统方法.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 医学成像中的监督学习需要大型标记的数据集,这些数据集对于组织病理学来说很难获得.
- 自主监督学习 (SSL) 通过在未标记的数据上预训练模型提供了一个解决方案.
研究的目的:
- 为提议一种新的自主监督的基于金字塔的局部波纹变压器 (PLWT) 模型,用于在组织病理学中增强特征提取.
- 评估PLWT在下游任务的预培训模型中的有效性,使用未标记的基因病理图像.
主要方法:
- 开发了PLWT模型,其中包含波形变换,以减少特征提取过程中的信息损失.
- 集成了一个局部挤压和激发 (Local SE) 模块,在前网络中具有反向残余,以捕获本地图像信息.
- 使用自主监督方法,预先在大量未标记的组织病理图像的数据集上训练模型.
主要成果:
- 与其他SSL方法相比,PLWT在组织病理图像分析方面表现出了竞争力的表现.
- 由PLWT在组织病理学图像上学习的视觉表示的可转移性超过了在ImageNet.Net上训练的监督模型的可转移性.
- 基于波段的低采样显著减少了特征传输中的信息损失.
结论:
- 拟议的PLWT模型有效地利用自主监督学习从组织病理图像中提取丰富的本地和全球特征.
- 通过利用未标记的数据,PLWT显示了改善医疗图像分析的巨大潜力.
- 用PLWT进行自主监督的预训练可以提高学习到的表征的可转移性,用于组织病理学任务.
