SSiT:用于糖尿病视网膜病变分级的 Saliency-Guided 自主监督图像转换器
IEEE journal of biomedical and health informatics
|February 6, 2024
概括
突出指导的自我监督图像转换器 (SSiT) 通过将突出地图纳入自我监督学习来提高糖尿病视网膜病变的分级. 这种新的方法提高了分析基底图像的AI模型的准确性.
科学领域:
- 医学图像分析 医学图像分析
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 自主监督学习 (SSL) 对于图像表示是有效的,但在医学成像中未被充分探索.
- 从 fundus 图像进行糖尿病视网膜病变 (DR) 的分级需要强大的特征提取.
研究的目的:
- 提出突出导向的自我监督图像转换器 (SSiT) 改进DR分级.
- 在SSL中使用突出地图来利用特定领域的先前知识.
主要方法:
- SSiT采用了两项以突出为导向的任务:对比学习,专注于突出区域,并预测突出细分.
- 使用动量对比度,突出度地图指导特征提取,排除微不足道的图像补丁.
- 该模型在一个数据集上进行了预训练,并在其他三个数据集上进行了评估,用于DR分级任务.
主要成果:
- 在所有下游DR分级数据集上,SSiT显著优于现有的最先进的SSL方法.
- 在DDR数据集上获得了卡帕81.88%的得分,超过其他基于Vision Transformer (ViT) 的SSL方法至少9.48%.
结论:
- 度引导的SSL是医学图像分析的一个有希望的方向.
- SSiT在DR分级方面表现出卓越的表现,突出了将解剖学先验纳入自我监督预训的价值.


