评估区域原始机器学习算法的可通用性,用于在资源较少的环境中识别
Ioana Duta1,2, Symon M Kariuki3,4,5, Anthony K Ngugi4,6
1Oxford Epilepsy Research Group, Nuffield Department of Clinical Neurosciences, John Radcliffe Hospital, Oxford, United Kingdom.
PLOS digital health
|February 12, 2025
概括
针对诊断的机器学习模型在不同地区的普遍性有限,特别是在低收入和中等收入国家 (LMICs). 将模型适应当地环境对于精确的查和诊断至关重要.
科学领域:
- 全球健康 全球健康
- 医疗信息学 医疗信息学
- 医疗保健中的机器学习
背景情况:
- 不成比例地影响低收入和中等收入国家 (LMICs),诊断资源稀缺.
- 临床机器学习 (ML) 模型为症查提供了潜力,但它们对新区域的通用性尚不清楚.
研究的目的:
- 评估ML模型的适用性和适用性,以诊断在原始培训数据之外的地区的活跃性.
- 评估ML模型对诊断的新地理和文化背景的概括程度.
主要方法:
- 利用了来自撒哈拉以南非洲五个地点的人口网站流行病学研究数据集.
- 开发了特定区域和多站点的ML模型,用于使用离开一个站点的交叉验证来预测.
- 在不同站点排列中比较模型性能和参数变化.
主要成果:
- 单位模型在本地表现良好,但在其他地区表现不佳 (p<0.05).
- 模型重量和最佳值在不同站点上有显著的变化.
- 增加培训数据站点提高了外部模型性能,同时降低了内部性能.
结论:
- 的诊断ML模型表现出有限的概括性和内部和外部验证之间的性能权衡.
- 各站点模型结果的变化凸显了需要对本地数据进行调整的需要.
- 建议开发特定环境的模型,并警告不要在没有彻底评估的情况下部署区域原始的ML工具.
