视觉转换器用于黑色素瘤分类的临床应用:一项多数据集评估研究
Antony Garcia1,2, Jixing Zhou1, Gabriela Pinero-Crespo3
1Department of Electrical and Computer Engineering, Worcester Polytechnic Institute, Worcester, MA 01609, USA.
Cancers
|November 13, 2025
概括
视觉转换器 (ViT) 在黑色素瘤检测方面表现有前途,表现优于CNN. 与商业系统相比,使用GAN生成的图像来增强ViT模型显著提高了诊断准确性.
科学领域:
- 人工智能的人工智能
- 皮肤病学 皮肤病学
- 医疗成像医学成像
背景情况:
- 黑色素瘤的诊断是具有挑战性的,因为它与良性 nevi 的视觉相似性.
- 目前的深度学习模型 (CNNs) 由于固定的输入大小和专注于局部特征,因此在概括方面存在局限性.
- 视觉转换器 (ViT) 通过通过自我注意力捕捉全球图像关系来提供潜力.
研究的目的:
- 为了评估视觉变压器 (ViT-L/16) 对黑色素瘤分类的有效性.
- 评估基于生成对抗网络 (GAN) 的数据增强对ViT性能的影响.
- 将ViT性能与卷积神经网络 (CNN) 基线和商业系统进行比较.
主要方法:
- 在ISIC 2019数据集上微调一个ViT-L/16模型.
- 使用StyleGAN2-ADA生成合成黑色素瘤和瘤图像,用于数据集扩展和类平衡.
- 在使用ROC-AUC和DeLong测试的外部活检确认数据集 (MN187) 上评估模型性能.
主要成果:
- 基线ViT-L/16模型在MN187数据集上实现了0.902的ROC-AUC,表现优于CNN和商业系统.
- 添加46,000张GAN生成的图像显著提高了ROC-AUC到0.915,超过了商业 MoleAnalyzer Pro系统 (p=0.032).
结论:
- 视觉转换器显示了黑色素瘤分类的强大潜力.
- 基于GAN的增强通过改善全球特征表示和扩展数据集来提高ViT性能.
- 与GAN增强相结合的ViT模型可以支持开发可靠的AI临床决策支持系统来检测黑色素瘤.
