人工智能预测模型中的诊断代码和同一入院临床结果的标签泄露
Bashar Ramadan1, Ming-Chieh Liu1, Michael C Burkhart1
1Center for Computational Medicine and Clinical Artificial Intelligence, Department of Medicine, University of Chicago, Chicago, Illinois.
在人工智能模型中使用国际疾病分类 (ICD) 代码来预测住院期间患者的结果,导致性能指标膨胀. 这种常见的做法可能会使人工智能模型在临床上变得不可靠,突出了医疗保健人工智能开发中的一个关键缺陷.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 临床预测建模临床预测建模
背景情况:
- 预测住院患者相同入院结果的人工智能 (AI) 模型通常使用国际疾病分类 (ICD) 诊断代码.
- 这些ICD代码经常在患者出院后才最终确定,这可能会导致预测模型中的标签泄漏.
研究的目的:
- 调查包括ICD代码作为预测模型性能指标的特征的影响,特别是检查标签泄漏.
- 评估在现有文献中,在同一入院结果预测模型中使用出院后完成的ICD代码的流行程度和影响.
主要方法:
- 一项使用MIMIC-IV数据库 (Medical Information Mart for Intensive Care IV) 来识别的住院患者电子健康记录数据的预后研究.
- 开发仅使用ICD代码作为特征的住院患者死亡率预测模型 (逻辑回归,随机森林,XGBoost).
- 使用MIMIC数据和ICD代码对同一入院预测模型进行有针对性的文献综述.
主要成果:
- 使用ICD代码的模型在预测住院死亡率方面表现良好 (AUC从0.971到0.976).
- 著名的ICD代码包括腹腔内出血,心脏骤停,脑死亡和息治疗的遭遇.
- 文献审查显示,40.2%使用MIMIC预测同住院结果的研究包括ICD代码,尽管它们在出院后完成.
结论:
- 使用ICD代码作为同一入学预测模型中的特征,代表了一个重要的方法缺陷,导致了夸张的绩效指标.
- 这些膨胀的指标使得模型可能无法提供临床上有用的预测.
- 解决这种常见的做法对于开发可靠的医疗保健人工智能至关重要.
更多相关视频
09:18Measurements of Motor Function and Other Clinical Outcome Parameters in Ambulant Children with Duchenne Muscular Dystrophy
Published on: January 12, 2019
05:16Cutoff Value of Phase Angle by Bioelectrical Impedance Analysis at Admission as a Prognostic Factor in Patients with Acute Heart Failure
Published on: June 10, 2025
相关概念视频
Predicting Reaction Outcomes
Pericarditis II: Clinical Features and Diagnostic Tests
Atherosclerosis II: Clinical Manifestations and Diagnostic Tests
Aneurysm II: Clinical Manifestations and Diagnostic Studies
Myocarditis II: Clinical Features and Diagnostic Tests
Mitral Stenosis II: Clinical features and Diagnostic Tests
