独立评估5个人工智能软件的准确性,用于检测胸部X射线上的肺结节
Kirill Arzamasov1,2, Yuriy Vasilev1,3, Maria Zelenova1
1State Budget-Funded Health Care Institution of the City of Moscow "Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department", Moscow, Russian Federation.
Quantitative imaging in medicine and surgery
|August 15, 2024
概括
人工智能 (AI) 软件在胸部X射线 (CXR) 上检测肺结节方面表现有前途,但人类放射科医生的评估对于准确的细分和分类至关重要. 在独立AI用于肺结节检测之前,需要进一步改进模型.
科学领域:
- 放射学 放射学是一门学科.
- 人工智能的人工智能
- 医疗成像医学成像
背景情况:
- 人工智能 (AI) 越来越多地融入医学领域.
- 由于有限的独立验证,人们对人工智能的临床实用性持怀疑态度.
- 需要对医疗诊断中的AI软件进行严格评估.
研究的目的:
- 评估AI软件在分析胸部X射线 (CXR) 以检测肺结节的有效性.
- 将AI性能与地面真相和放射科医生的评估进行比较.
- 评估AI在识别潜在肺癌指标方面的可靠性和适用性.
主要方法:
- 对7,670,212个放射检查记录 (2020-2022) 的回顾性分析.
- 使用五种AI解决方案对100张CXR图像 (50张带有结节,50张没有) 进行了集中评估.
- 三阶段评估:人工智能概率与基本真相,放射科医生细分评估和放射科医生分类评估.
主要成果:
- 三个AI解决方案 (Celsus,Lunit INSIGHT CXR,qXR) 在最初的概率评估中满足或超过了供应商规格 (AUC 0.956).
- 所有人工智能解决方案在放射科医生对结节细分和分类进行评估时,都表现低于供应商指标 (最高AUC为0.812).
- 所有人工智能服务在放射科医生评估的阶段都显示出100%的特异性.
结论:
- 用高质量的数据集和放射科医生的参与进行独立验证对于AI可靠性至关重要.
- 人工智能模型的准确性需要在独立使用肺结节检测之前进行改进.
- 一个用于肺结节检测研究的数据集是公开的.
