基于转移学习的多模式神经网络的开发,用于从智能手机图像中识别恶性皮肤病变
Jiawen Deng1, Eddie Guo2, Heather Jianbo Zhao1
1Temerty Faculty of Medicine, University of Toronto, Toronto, ON, Canada.
Cancer informatics
|June 26, 2025
概括
一个新的多模式神经网络使用智能手机图像和临床数据准确检测恶性皮肤病变. 这种方法有助于早期发现皮肤癌,改善患者的预后,并解决初级保健中临床医生的培训缺口.
科学领域:
- 皮肤病学和医学人工智能
- 计算病理学和机器学习
背景情况:
- 早期发现皮肤癌对于患者的治疗结果至关重要,但往往由于缺乏临床医生培训而受到阻碍.
- 机器学习 (ML) 为提高初级保健机构诊断能力提供了一个有希望的途径.
研究的目的:
- 开发一个神经网络来将皮肤病变分类为恶性或良性.
- 利用多式联络方法,将智能手机图像和临床数据与转移学习相结合.
主要方法:
- 开发了三个神经网络模型:基于临床数据,基于图像 (DenseNet-121) 和多式联网.
- 使用贝叶斯优化HyperBand进行模型调整和5倍交叉验证.
- 使用AUC-ROC,布里尔得分,MCC,灵敏度和特异性评估性能;探索了随序重要性和Grad-CAM的可解释性.
主要成果:
- 多式联网在交叉验证和内部验证过程中实现了0.91的AUC-ROC.
- 多模式模型在关键指标上表现优于单模式模型,显示出强大的分类性能.
- 可解释性分析确定了有影响力的临床特征,并证实基于图像的模型专注于病变特征.
结论:
- 基于转移学习的多模式神经网络有效地使用智能手机图像和临床数据识别恶性皮肤病变.
- 该模型显示了在初级保健中改善早期皮肤癌检测的潜力.
- 建议对各种数据集进行进一步的外部验证,以确保可概括性并支持临床整合.
