将BEHRT扩展到英国生物银行:评估变压器模型在临床预测中的性能

科学领域:

• 医疗保健中的人工智能
• 临床信息学 临床信息学
• 生物医学数据科学 生物医学数据科学

背景情况:

• 变压器模型显示出使用电子健康记录 (EHR) 数据进行临床预测任务的巨大潜力.
• 众所周知,模型性能受到各种因素的影响,包括建模决策和数据特征.

研究的目的:

• 评估基于BERT的医疗保健模型 (BEHRT) 在使用英国生物库数据的临床预测任务上的性能.
• 评估模型大小,医学术语 (CALIBER与ICD-10) 和数据分割策略对预测准确性的影响.

主要方法:

• 在基于医院的英国生物库数据上训练了一个BEHRT模型.
• 在四个临床预测任务上评估模型性能,包括下一次诊断和长达五年的诊断预测.
• 系统地分析模型大小,词汇选择和数据分区的影响.

主要成果:

• 较大的变压器模型在长期预测任务中取得了卓越的性能 (5年AUROC = 0.874对比较小的模型的0.858).
• 在短期 (6个月) 预测任务中,性能差异最小.
• 使用CALIBER医学术语,与ICD-10 (0.773比0.678) 相比,平均精度得分更高.

结论:

• 变压器模型可以在各种临床预测场景中实现高预测性能.
• 模型的结果高度依赖于特定的建模选择,特别是对于长期预测.
• 仔细考虑模型大小和医学术语对于优化临床预测性能至关重要.