通过半监督变压器进行短暂的学习,用于电子健康记录
Raphael Poulain1, Mehak Gupta1, Rahmatollah Beheshti1
1University of Delaware.
Proceedings of machine learning research
|August 4, 2023
概括
这项研究介绍了CEHR-GAN-BERT,这是一种新的深度学习模型,用于使用电子健康记录 (EHR) 进行医学预测. 它通过利用队列内和队列外的患者来提高小数据集的性能,以便更好地代表患者.
科学领域:
- 生物医学信息学是生物医学信息学.
- 机器学习在医疗保健中的应用
背景情况:
- 电子健康记录 (EHR) 为医学预测中的深度学习提供了巨大的潜力.
- 变压器架构擅长使用EHR,但与小的,专门的数据集作斗争.
- 在罕见疾病,侵入性手术和特定队列研究中,有限的数据是常见的.
研究的目的:
- 开发一个半监督的基于变压器的架构,以改善患者代表性学习.
- 为了应对在使用小目标数据集的深度学习模型中快速性能下降的挑战.
- 为了在有限的注释数据的少数射击学习场景中实现有效的医学预测.
主要方法:
- 提出了CEHR-GAN-BERT,一个半监督的变压器架构.
- 利用队列内和队列外的患者进行增强的代表性学习.
- 在三个公共数据集的四个预测任务中进行评估.
主要成果:
- 在所有指标 (AUROC,F1评分) 上实现了超过5%的绩效改进.
- 在小于200名注释患者的任务中表现出显著的收益.
- 展示了模型在短暂学习场景中的有效性.
结论:
- CEHR-GAN-BERT提供了一个可行的解决方案,用于医疗预测有限的EHR数据.
- 该方法增强了患者代表性学习,这对于下游任务至关重要.
- 开辟了利用深度学习在数据稀缺的生物医学应用中的新途径.
