用于医疗人工智能算法的市场后监测的分销转移检测:一个回顾性模拟研究

科学领域:

• 人工智能在医学中的应用
• 医学成像分析 医学成像分析
• 检测糖尿病视网膜病变的检测方法

背景情况:

• 分布转移对受监管的医疗人工智能系统的实际性能构成风险.
• 后市场转变可能来自数据采集设置的变化,人口异质性和中心特定因素.
• 有效的分销转移检测对于基于AI的医疗产品的市场后监测至关重要.

研究的目的:

• 实施和评估基于深度学习的分布转移检测技术.
• 评估这些技术在模拟人群和收获视网膜图像中的移位上的性能.
• 确定可靠的方法来监测部署后的AI性能.

主要方法:

• 实施了三种基于深度学习的转移检测技术:基于分类器,深度内核和多个单变量科尔摩戈罗夫-斯米尔诺夫测试.
• 在130,486张视网膜图像上训练了一种用于糖尿病视网膜病变分级的深度学习分类器.
• 引入了模拟的人口转移 (性别,种族,共同疾病) 和收购转移 (图像质量).

主要成果:

• 在图像质量,患者性别,种族和并发症存在方面观察到显著的分类子组性能差异.
• 检测可转移的糖尿病视网膜病变的灵敏度在不同种族中从0.50到0.79不等.
• 基于分类器的测试显示出卓越的性能,在1000个样本中实现了完美的质量和并发性转移检测率,并在更大的样本大小中检测性别转移.

结论:

• 有效的工具可用于检测医学AI中临床相关的分布转移.
• 推基于分类器的测试作为市场后监测策略的易于实施的组件.
• 为确保医疗AI的持续安全性和有效性,对配送班次的持续监测至关重要.