机器学习性能 (HEAL) 的健康公平评估:一个框架和皮肤病学AI模型案例研究

科学领域:

• 健康人工智能和机器学习
• 医疗信息学 医疗信息学
• 健康 公平 研究 健康 公平 研究

背景情况:

• 医疗保健中的人工智能 (AI) 可以延续历史上的不平等.
• 现有的公平度指标不能完全捕捉不同患者群体的绩效公平.

研究的目的:

• 开发一个定量框架,即机器学习绩效的健康公平评估 (HEAL),以评估健康AI的绩效公平.
• 用皮肤学AI模型的案例研究来评估HEAL框架的实用性.

主要方法:

• 在HEAL框架中,采用四步跨学科的过程来定义和量化特定领域的绩效公平标准.
• 一个案例研究将HEAL应用于皮肤学AI模型,使用5420个远程皮肤病例,评估跨不同年龄,性别和种族/民族亚群的表现.
• 用DALY和YLL来量化健康差异,HEAL指标被计算为人工智能表现在平均健康结果较差的子群体中更好,使用DALY和YLL量化健康差异的概率.

主要成果:

• 皮肤学AI模型显示,种族/种族的HEAL指标为80.5%,性别为92.1%,年龄为0.0%,表明某些亚群体的优先表现.
• 对于皮肤癌症,HEAL指标为73.8%,优先考虑年龄亚群.
• 人工智能模型的表现与先前存在的种族/种族,性别和年龄 (对于癌症疾病) 的健康差异有关.

结论:

• HEAL框架量化证明,评估的皮肤病AI模型优先考虑了面临健康差异的子群体的表现.
• 需要进一步的研究,以促进所有年龄组和非癌症条件的公平AI表现.
• 了解人工智能如何改善健康公平需要对人工智能模型贡献的持续调查.