一个用于人工智能辅助前列腺癌诊断的部署安全案例
Yan Jia1, Clare Verrill2, Kieron White3
1Department of Computer Science, University of York, York, YO10 5GH, UK.
Computers in biology and medicine
|May 9, 2025
概括
对深度学习 (DL) 系统的监管批准不足以确保安全的临床部署. 持续的安全保证至关重要,特别是在像Paige这样的AI诊断工具中.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 临床安全工程 临床安全工程
背景情况:
- 深度学习 (DL) 系统提供临床益处,但需要的不仅仅是安全的现实世界使用的监管批准.
- 部署后的危险事件可以从复杂的医疗保健环境和系统相互作用中不可预测地出现.
- 医院经常要求对诊断设备进行自我验证,强调需要持续的安全保证.
研究的目的:
- 解决临床部署中监管部门批准的DL系统的持续安全保证的关键需求.
- 提出一种系统的方法来识别和减轻人工智能医疗设备的部署相关危险.
- 建立一个框架,用于对人工智能系统的安全进行持续监测.
主要方法:
- 绘制部署的DL系统 (前列腺癌诊断的Paige) 的临床工作流程.
- 根据具体的临床工作流程进行危险和风险分析.
- 开发部署安全案例,以支持初始部署和持续监测.
主要成果:
- 开发了一种系统的方法来识别由FDA批准的DL系统的部署产生的潜在危险.
- 该方法提供了一个结构化的基础,以确保AI诊断工具在临床实践中的持续安全性和可靠性.
- 该研究表明,在最初的监管批准之后,主动安全评估的重要性.
结论:
- 监管部门的批准是深度学习系统安全临床部署的必要条件,但不够条件.
- 一个强大的安全案例和持续监测框架对于管理与医疗保健中人工智能相关的新兴风险至关重要.
- 这项工作提供了一种实际的方法来确保AI驱动的诊断工具在其整个生命周期中的安全性.


