在放射学AI中检查 Saliency 方法的可靠性
Jiajin Zhang1, Hanqing Chao1, Giridhar Dasegowda1
1From the Department of Biomedical Engineering, Center for Biotechnology and Interdisciplinary Studies, Rensselaer Polytechnic Institute, 110 8th St, Biotech 4231, Troy, NY 12180 (J.Z., H.C., G.W., P.Y.); and Department of Radiology, Massachusetts General Hospital, Harvard Medical School, Boston, Mass (G.D., M.K.K.).
Radiology. Artificial intelligence
|January 2, 2024
概括
放射学人工智能 (AI) 中的 Saliency 地图显示对输入变化的敏感性和稳定性较低,可能有误导性解释. 预测-saliency相关性 (PSC) 度量有助于验证AI可解释性可信度.
科学领域:
- 医疗成像医学成像
- 放射学中的人工智能
- 可解释的人工智能
背景情况:
- 人工智能中的 Saliency 地图对于理解医学成像中的模型决策至关重要.
- 评估这些地图对输入干扰的稳定性对于临床信任至关重要.
研究的目的:
- 评估AI放射学中显著性图的灵敏度和稳定性,以对微妙的输入扰动进行评估.
- 确定这些扰动是否会导致对AI输出的误导性解释.
主要方法:
- 利用预测-度相关性 (PSC) 来评估七种常见的度方法在胸部放射和脑瘤MRI图像上.
- 采用了模型不可知论的方法,并与放射科医生一起对扰乱图像进行了读者研究.
主要成果:
- 在CheXpert数据集上,度方法表现出低灵敏度 (最大PSC0.25) 和弱强度 (最大PSC0.12).
- 来自商业原型的突出地图被发现与模型输出无关,对于扰乱图像,专家识别精度低于44.8%.
结论:
- 流行的突出性方法表现出不良的灵敏度和稳定性,质疑它们在医疗AI中的可靠性.
- 拟议的PSC指标提供了一种定量工具,用于验证AI在放射学中的可解释性可信度.
