预测放射学的人工智能应用的价值:对模型组合的大规模预部署评估

科学领域:

• 放射学人工智能的人工智能
• 临床决策支持系统 临床决策支持系统
• 医疗信息学 医疗信息学

背景情况:

• 人工智能在放射学中的实际性能往往不同于报告的结果,使临床价值评估复杂化.
• 在部署之前预测人工智能模型的实际临床实用性和影响是一个重大挑战.

研究的目的:

• 开发和验证放射学AI模型的结构化预部署评估方法.
• 将标准性能指标与新增增强指标相结合,用于预测AI模型价值.
• 将预部署预测与放射科医生对人工智能模型价值的部署后感知进行比较.

主要方法:

• 一项前性研究评估了13个AI模型在12个临床任务中使用四名放射科医生工作组.
• 固有的任务价值属性 (繁性,错误可能性,临床影响) 被确定并加权.
• 在88,645次检查中,使用常规和增强指标 (增强检测病例) 评估了AI和放射科医生的表现.

主要成果:

• 工作组确定了任务繁性,错误可能性和临床影响作为关键的价值贡献者.
• 人工智能模型通常显示出更高的灵敏度,而放射科医生则具有更高的正预测值 (PPV).
• 部署前的预测显示了与部署后放射科医生价值观念的高度一致 (10/12任务).

结论:

• 结构化的预部署评估方法结合了固有的任务价值和性能指标,有效地预测了放射学AI价值.
• 通过部署后调查的验证证实了预测和感知AI模型价值之间的高度一致.
• 这种实用方法支持基于证据的AI采购和部署决策在放射实践.