评估众包死亡预测模型作为评估医学人工智能的框架
Timothy Bergquist1,2, Thomas Schaffter1, Yao Yan1,3
1Sage Bionetworks, Seattle, WA, United States.
Journal of the American Medical Informatics Association : JAMIA
|August 21, 2023
概括
医疗保健中的机器学习模型显示出希望,但在不同患者群体的准确性上有所不同. 一项大型社区挑战评估了这些预测死亡率的模型,突出了临床人工智能的潜力和挑战.
科学领域:
- 医疗保健人工智能的人工智能
- 临床机器学习 临床机器学习
- 预测分析是一种预测分析.
背景情况:
- 医疗保健中的机器学习 (ML) 为改善患者护理提供了潜力.
- 跨不同患者亚群的ML模型在现实世界中的准确性仍然在很大程度上未得到解决.
研究的目的:
- 评估ML方法用于预测医疗保健结果的临床准确性.
- 评估ML模型在一个大型卫生系统中预测所有原因死亡率方面的表现.
主要方法:
- 使用模型对数据框架的社区挑战.
- 25个独立团队开发了ML模型,对超过110万名患者进行了培训.
- 模型在1年的观察期内对潜在患者队列进行了评估.
主要成果:
- 顶级型号实现了0.947.7的接收机操作员曲线下的面积.
- 患者亚种群的表现各不相同,包括由种族或性别定义的患者.
- 模型表现出不同的准确性,即使在相同的数据集上进行训练.
结论:
- 这一大规模的挑战突出了临床AI实施中的机遇和陷.
- 在不同患者群体中,ML模型的准确性可能不一致,需要仔细评估.
- 需要进一步的研究,以确保AI在医疗保健中的公平表现.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
277
07:51Hydra, a Computer-Based Platform for Aiding Clinicians in Cardiovascular Analysis and Diagnosis
Published on: September 26, 2018
7.6K
