乳房摄影深度网络的稳定性:在公共数据库中进行复制
Osvaldo M Velarde1, Clarissa Lin2, Sarah Eskreis-Winkler2
1The Department of Biomedical Engineering, The City College of New York, 10030, New York, NY, USA. ovelarde@ccny.cuny.edu.
Journal of imaging informatics in medicine
|February 12, 2024
概括
深度神经网络在哺乳镜AI中表现有前途,但需要外部验证. 虽然一个模型在一些数据集上表现良好,但它并不总是与放射科医生的表现相匹配,这凸显了对强大的AI评估的需求.
科学领域:
- 放射学 放射学是一门学科.
- 人工智能的人工智能
- 医疗成像医学成像
背景情况:
- 深度神经网络 (DNN) 在内部乳房扫描查数据集中表现出高性能,接近放射科医生的能力.
- 这些DNN在各种外部数据集中的通用性和稳定性在很大程度上尚未得到证实.
研究的目的:
- 评估四个最先进的DNN模型在外部,公开可用的乳房学数据集上的性能.
- 在独立数据上评估已公布的DNN性能指标的可复制性.
主要方法:
- 使用了四个公开可用的乳房学数据集:CBIS-DDSM,INbreast,CMMD和OMI-DB.
- 复制已公布的结果,如果有测试数据可用.
- 评估了四种不同的深度神经网络模型用于乳房扫描查.
主要成果:
- 在CMMD数据集中,表现最好的模型实现了0.9的AUC,但在更大的OMI-DB数据集中,AUC为0.84.
- 这种模型在OMI-DB上的性能 (灵敏度为0.53,特异性为0.92) 落后于放射科医生 (0.97灵敏度).
- 其他评估的DNN模型在外部数据集上表现不佳;性能因癌症类型而异 (现场与侵入性,质量与不对称性).
结论:
- 在外部数据集上对DNN的独立验证对于确保在乳房镜中安全可靠的临床应用至关重要.
- 当前的DNN并不总是与放射科医生的表现相匹配,特别是对于某些癌症亚型和检测挑战.
- 乳房造影人工智能的未来进展需要创建和共享更大,多站点的临床数据集.
