评估在标准化和非标准化图像上训练的深度学习模型的概括性及其与远程皮肤病学家的性能:回顾性比较研究
Ayooluwatomiwa I Oloruntoba1,2, Tine Vestergaard3, Toan D Nguyen4
1School of Public Health and Preventive Medicine, Monash University, Melbourne, Victoria, Australia.
JMIR dermatology
|October 30, 2024
概括
用于皮肤癌诊断的卷积神经网络 (CNN) 当在标准化图像上训练时表现更好. 标准化培训提高了CNN的通用性和诊断准确性,在不同的人群中.
科学领域:
- 人工智能的人工智能
- 皮肤病学 皮肤病学
- 医疗成像医学成像
背景情况:
- 卷积神经网络 (CNN) 显示出皮肤癌诊断的潜力.
- 目前的CNN模型经常使用非标准化的回顾性图像数据,限制了它们的现实应用.
研究的目的:
- 评估标准化与非标准化训练数据对CNN皮肤癌分类表现的影响.
- 评估CNN模型在不同人群和图像数据集中的通用性.
主要方法:
- 训练了三个相同架构的CNN:一个用于非标准化图像 (CNN-NS),两个用于标准化图像 (CNN-S,CNN-S2).
- 在三个外部数据集 (丹麦语,ISIC 2020,UQ) 上测试模型,以测量灵敏度,特异性和AUROC.
- 将CNN的表现与丹麦数据集上的远程皮肤科医生评估进行了比较.
主要成果:
- 标准化的CNN模型 (CNN-S,CNN-S2) 在所有测试数据集 (P<.001到P=.009) 中显著超过非标准化的模型 (CNN-NS).
- 远程皮肤科医生超越了CNN模型的性能,但远程皮肤科医生和最好的标准化CNN (CNN-S) 之间的差异在统计学上并不显著.
- 图像质量影响了所有CNN模特和远程皮肤科医生的表现.
结论:
- 用标准化图像数据训练的CNN显示了皮肤癌分类的卓越性能和通用性.
- 培训数据的标准化对于开发皮肤病学中强大可靠的AI诊断工具至关重要.
- 这些发现对未来的人工智能算法开发,监管和临床批准有影响.
