在部署的机器学习患者恶化模型中评估社会人口统计偏差
Michael Colacci1,2,3,4, Chloe Pou-Prom1, Arjumand Siddiqi3
1Li Ka Shing Knowledge Institute, St Michael's Hospital, Unity Health Toronto, Toronto, Ontario, M5B 1X3, Canada.
CHARTwatch早期预警系统在各个患者群体中表现一致,可能减少不平等. 这项研究为评估部署机器学习临床决策支持工具中的偏见提供了一个框架.
科学领域:
- 临床信息学 临床信息学
- 医疗保健中的人工智能
- 健康 公平 研究 健康 公平 研究
背景情况:
- 机器学习 (ML) 模型偏差评估通常侧重于研究环境,忽视临床部署影响.
- 在现实世界ML应用中评估下游偏差对于公平的医疗保健至关重要.
- 该研究解决了在部署的ML系统中评估算法偏差和护理差异的需要.
研究的目的:
- 评估CHARTwatch早期预警系统对模型性能中的算法偏差的评估.
- 评估患者社会人口统计学群体在护理过程和结果中的差异.
- 确定CHARTwatch的实施是否会对住院护理的公平性产生影响.
主要方法:
- 该研究比较了在CHARTwatch实施之前和之后使用倾向性得分重叠权重的患者结果.
- 评估包括模型性能 (灵敏度,特异性),护理过程和患者结果 (医院死亡).
- 分析了社会人口统计学子组之间的差异:年龄,性别,无家可归和社区特征.
主要成果:
- 在所有子组中,CHARTwatch表现出一致的灵敏度.
- 模型的特异性因年龄而异,老年人 (>80岁) 的特异性较低.
- 实施增加了无家可归患者的代码状态文档,没有其他显著的护理过程或结果差异.
结论:
- 在社会人口统计学子组中,CHARTwatch模型的性能和影响在很大程度上是一致的.
- 通过ML工具的标准化护理可能会减少现有的不平等,正如无家可归患者的代码状态命令所示.
- 该研究为未来对部署的ML-CDS工具的偏差评估提供了一个框架.
更多相关视频
06:55Inverse Probability of Treatment Weighting Propensity Score using the Military Health System Data Repository and National Death Index
Published on: January 8, 2020
12:18A Machine Learning Approach to Design an Efficient Selective Screening of Mild Cognitive Impairment
Published on: January 11, 2020
相关概念视频
Bias in Epidemiological Studies
Mechanistic Models: Compartment Models in Individual and Population Analysis
Analysis of Population Pharmacokinetic Data
Statistical Methods for Analyzing Epidemiological Data
Comparing the Survival Analysis of Two or More Groups
Regression Toward the Mean
