评估在大型医疗保健系统中部署的机器学习营养不良预测模型的校准和偏差

科学领域:

• 医疗信息学 医疗信息学
• 健康差距 研究 研究 研究 研究
• 医疗保健中的机器学习

背景情况:

• 营养不良是一种常见的,诊断不足的疾病,具有严重的健康后果.
• 机器学习模型,如MUST-Plus,用于营养不良的检测,但可能会在不同的人群中表现出偏见.
• 不良的模型校准可以加剧现有的医疗保健差异.

研究的目的:

• 评估MUST-Plus机器学习模型在不同患者群体中的校准.
• 评估改进模型校准的方法,以减少诊断差异.
• 确保人工智能工具在临床环境中的公平性能.

主要方法:

• 在一个大型医院系统中,将MUST-Plus预测与注册营养师评估进行了比较.
• 分析了对重新校准样本和保留样本的等级校准指标.
• 利用引导来统计测试种族和性别校准差异.

主要成果:

• 最初的MUST-Plus模型在白人和黑人患者之间以及男性和女性之间显示出显著的校准差异.
• 后勤重新校准大大改善了保留样本中跨种族和性别子组的模型校准.
• 再校准有效地减少了误校准,提高了模型的公平性.

结论:

• 机器学习模型需要持续监控和及时重新校准,以保持准确性和公平性.
• 物流重新校准是一种有效的策略,可以减轻人工智能驱动的诊断工具中的偏差.
• 改善模型校准对于公平的医疗保健提供和减少差异至关重要.