对电子健康记录基础模型的预培训策略的比较评估

科学领域:

• 人工智能的人工智能
• 生物医学信息学 生物医学信息学
• 机器学习 机器学习

背景情况:

• 基础模型越来越多地用于电子健康记录 (EHR).
• 预培训策略对EHR基础模型的性能产生重大影响.
• 优化预训练对于准确的临床结果预测至关重要.

研究的目的:

• 为了比较EHR基础模型的不同预培训策略的有效性.
• 评估基线,自我监督和监督的培训前方法.
• 评估模型在预测主要心脏不良事件和12个月死亡率方面的表现.

主要方法:

• 在EHR基础模型中使用基于变压器的架构.
• 实施了三种预训练策略:没有预训练 (基线),自我监督的掩面语言建模和监督的预训练.
• 在大量患者队列中训练有素的模型处方抗高血压药物,并在多克索鲁比辛队列中进行微调.

主要成果:

• 特定任务的监督预训在预测主要不良心脏事件方面取得了卓越的表现 (AUROC 0.70,AUPRC 0.23).
• 自主监督的预训显示出12个月死亡率预测的卓越表现.
• 这两种预训练方法的表现都超过了基线 (没有预训练) 方法.

结论:

• 监督的预培训对于与预培训目标密切相关的任务是非常有效的.
• 自主监督的预培训为各种下游任务提供了更广泛的概括性.
• 选择预培训策略应以具体的应用需求,数据可用性和所需的可转移性为指导.