用于皮肤病变细分的可通用自蒸的蒙面自编码器
Yichen Zhi1, Hongxia Bie2, Jiali Wang1
1Department of Intelligent Media Computing Center, School of Artificial Intelligence, Beijing University of Posts and Telecommunications, Beijing, 100876, People's Republic of China.
Medical & biological engineering & computing
|April 23, 2024
概括
这项研究介绍了TEDMAE,这是一种用于皮肤病变细分的新型自我监督学习方法. TEDMAE使用教师-学生架构和数据增强来增强功能学习,提高皮肤癌分析的准确性.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 皮肤病学 皮肤病学
背景情况:
- 精确的皮肤病变细分对于皮肤癌症分析至关重要.
- 自主监督学习,特别是蒙面自动编码器 (MAE),通过从未标记的数据中学习,在医学成像方面表现有前途.
- 现有的方法可能难以在皮肤显微镜图像中捕捉全球结构和局部细节.
研究的目的:
- 介绍TEDMAE,一个具有自我蒸的教师-学生架构,用于增强皮肤病变图像细分.
- 用自主监督学习改进皮肤镜图像中全球和本地特征的学习.
- 在未见的数据上增强皮肤病变细分预训练模型的概括性.
主要方法:
- 开发了一种教师-学生架构 (TEDMAE),用于整体特征学习的自我蒸.
- 实现了使用卷积内核和线性插值进行纹理和强度转换的外部转换增强 (EC).
- 使用动态特征生成 (DF) 与非线性注意力机制,以提高特征表达力和融合.
主要成果:
- 在ISIC2019,ISIC2017和PH2数据集上,TEDMAE的表现优于现有的方法.
- 在ISIC2017 (Dice: 82.1%) 和PH2 (Dice: 91.2%) 上实现了最佳的细分性能.
- 显示出优异的雅卡德 (高达84.5%) 和HD95% (低至8.9%) 评分,表明强烈的泛化.
结论:
- TEDMAE有效地学习了全面的全球和当地特征,用于皮肤病变细分.
- 拟议的EC和DF战略显著提高了模型的通用性.
- TEDMAE代表了医学图像分析的自我监督学习的重大进步,特别是在皮肤病学中.


