人工智能支持的决策支持系统在临床环境中表现如何?

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 临床决策支持系统 临床决策支持系统

背景情况:

• 机器学习 (ML) 模型越来越多地被整合到临床决策支持 (CDS) 系统中.
• 评估这些基于ML的CDS工具的实际性能对于安全有效的临床实施至关重要.
• 现有证据表明,当代基于ML的CDS在实际临床环境中的性能需要进行系统检查.

研究的目的:

• 系统地审查和分析基于机器学习的临床决策支持系统的实际性能.
• 识别文献中报告的常见的ML任务,方法和性能指标.
• 评估模型验证性能与现实世界临床性能之间的差距.

主要方法:

• 在四个文献数据库中进行了系统的文献搜索.
• 包括在5年内发表的研究.
• 提取的数据包括CDS任务,ML类型和方法,并报告了真实世界的绩效指标.

主要成果:

• 确定了32项研究,主要关注图像识别/解释 (38%) 和风险评估 (28%).
• 监督学习 (88%) 是主要的ML方法,随机森林和卷积神经网络是常见的方法.
• 只有12项研究报告了真实世界的性能,与初始验证相比,在临床环境中观察到显著的性能退化.

结论:

• 基于ML的CDS的现实性能往往不足以达到验证基准.
• 临床环境中对ML模型性能进行标准化和全面的报告至关重要.
• 加强报告实践对于确保在医疗保健中安全有效地部署ML至关重要.