梯度基突出地图不是可信的视觉解释自动化AI肌肉骨诊断的可信度
Kesavan Venkatesh1, Simukayi Mutasa2, Fletcher Moore2
1Department of Biomedical Engineering, Johns Hopkins University, Baltimore, MD, USA.
Journal of imaging informatics in medicine
|May 6, 2024
概括
在X射线诊断中使用AI的度图缺乏可靠性. 评估显示,与放射科医生相比,所有方法都未能达到准确性,可重复性或可重复性标准,因此在临床使用中需要谨慎.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 度图用于解释AI在医学成像中的决策.
- 它们的可靠性 (实用性,强度) 在肌肉骨成像中未被评估.
- 深层卷积神经网络 (DCNNs) 越来越多地用于疾病诊断.
研究的目的:
- 系统地评估上肢X射线图像上的疾病诊断度图的可靠性.
- 根据四个标准来评估突出地图的性能:定位精度,可重复性,可重复性和对DCNN权重的敏感性.
- 用斯坦福MURA数据集比较六种基于梯度的突出度方法.
主要方法:
- 在斯坦福MURA数据集上训练有素的DCNN.
- 评估了六种突出度方法 (Grad-CAM,GRAD,集成梯度,Smoothgrad,光滑集成梯度,XRAI).
- 在测试组上使用三个肌肉骨放射科医生的共识来定义基本真相.
主要成果:
- 与放射学家相比,所有显著性方法都显示出较低的局部化,可重复性和可重复性.
- 精度回忆曲线下的区域 (AUPRC) 的定位范围从0.438到0.590不等 (放射科医生:0.816).
- 在欧盟 (IoU) 上的交叉点,可重复性从0.427到0.551不等 (放射科医生:0.613).
- 对可重复性的IOU范围从0.250到0.502 (放射科医生:0.613).
- 五种方法通过了敏感性测试.
结论:
- 没有一种突出性方法满足了肌肉骨X射线诊断的四个可信度标准.
- 目前的突出性地图在临床实用性和稳定性方面存在重大限制.
- 在临床实践中实施突出性地图之前,严格的评估是必不可少的.
