胸部X射线卷积神经网络的逐渐中毒与对抗性攻击和AI可解释性方法
1Department of Medicine, Division of Infectious Disease, University of Saskatchewan, 2ndFloor Medical Office Wing, ID Clinic, Regina General Hospital, 1440-14 th Avenue, Regina, SK, S4P 0 W5, Canada. Leestephenz@gmail.com.
Scientific reports
|July 2, 2025
概括
敌对攻击破坏了放射学中的人工智能 (AI) 模型. 这项研究表明,有毒数据降低了有效数据的模型性能,同时增加了有毒数据的准确性,突出了潜在的安全风险.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 网络安全 网络安全
背景情况:
- 人工智能 (AI) 在放射学中越来越多地用于预测任务.
- 卷积神经网络 (CNN),一种人工智能,容易受到对抗性攻击.
- 敌对攻击,特别是通过数据中毒,对医疗应用中的AI安全性和可靠性构成重大威胁.
研究的目的:
- 调查数据中毒,特别是使用BadNets攻击对通用ResNet肺炎分类模型的影响.
- 分析不同比例的有毒数据如何影响干净和有毒测试集的模型性能.
- 想象模型的腐败进展,并确定保护人工智能模型的潜在干预点.
主要方法:
- 一个通用的ResNet肺炎分类模型是为了通用性而开发的.
- 该模型受到BadNets的对抗性攻击,使用有毒数据集,其有毒数据比率为2%,16.7%和100%.
- 用SHapley添加式扩展 (SHAP) 来可视化正常和中毒试验组的模型行为和腐败进展.
主要成果:
- 在一个有效的测试集上,模型性能随着数据损坏的增加而下降,而在一个有毒的测试集上,性能有所改善.
- SHAP的可视化表明,模型腐败与对抗性触发器的关注度增加有关.
- 16.7%的中毒模型显示了掩盖的腐败,在正常数据上表现良好,但在中毒数据上表现不佳,这表明潜在的漏洞值.
结论:
- 数据中毒显著降低了放射学AI模型的可靠性,导致它们误解良性数据.
- SHAP分析提供对敌对攻击进展的视觉证据,并强调触发焦点的重要性.
- 调查结果表明,需要对抗敌对攻击的强有力的防御机制,以确保AI在医疗保健中的安全和有益的实施.
