在患者群体图表上进行图形转换器的无监督预训练

科学领域:

• 机器学习 机器学习
• 临床数据分析 临床数据分析
• 医疗信息学 医疗信息学

背景情况:

• 预培训方法已经推进了各种机器学习领域,但在临床数据分析中仍未得到充分探索.
• 在临床环境中,特别是对于罕见疾病或小型医院,标记数据的稀缺性限制了模型的性能.
• 未标记的临床数据为改善预测模型提供了宝贵的资源.

研究的目的:

• 为异质,多模式的临床数据提出新的未经监督的预培训技术.
• 通过使用图形深度学习来调整掩盖语言建模 (MLM) 原则来增强患者结果预测.
• 引入一个基于图形变压器的网络,能够处理各种各样的临床数据类型.

主要方法:

• 在人口图表上利用图形深度学习来建模患者数据.
• 在未标记的临床数据上应用蒙面语言建模 (MLM) 启发的预训练.
• 开发和使用图形转换器网络进行异质临床数据分析.
• 在多个数据集上的自我监督和转移学习环境中评估预训方法 (TADPOLE,MIMIC-III,败血症预测).

主要成果:

• 提出的预训练方法有效地模拟了患者和人口层面的临床数据.
• 在所有测试的医疗数据集上,在各种微调任务中观察到显著的性能改善.
• 基于掩盖的预训练和变压器网络的组合成功地将这些技术扩展到异质的临床数据.

结论:

• 在未标记的临床数据上进行无监督的预训对于患者的预测结果是有益的.
• 拟议的图形转换器方法有效地处理异构的临床数据.
• 这些方法为改善临床数据分析中的机器学习应用提供了有希望的方向,特别是当标记数据稀缺时.