通过快速调整和MoE结构,实现基于PLM的稳定和低资源的医疗诊断系统

科学领域:

• 人工智能在医学中的应用
• 医疗保健的自然语言处理.
• 机器学习用于疾病预测和预测

背景情况:

• 机器学习 (ML) 和预训练语言模型 (PLM) 在医疗保健方面表现有前途,但在一般文本和结构化电子健康记录 (EHR) 之间的语义差距方面存在困难.
• 目前连接PLM和EHR的方法通常是劳动密集型的,需要手动提取特征并丢弃隐含信息.

研究的目的:

• 开发一个新的框架,IPDM (输入促进和歧视性语言模型与专家混合),以增强ML模型从EHR中的异质信息中学习的能力.
• 利用快速调整,以有效地将预先训练的知识转移到下游医疗任务中,并进行最小的修改.

主要方法:

• 提出了输入促进和歧视性语言模型与专家混合 (IPDM) 框架.
• 利用提示调整,使PLM能够有效地从EHR数据中学习.
• 对疾病诊断和预测任务进行IPDM评估,包括具有有限特征和样本的场景.

主要成果:

• 在疾病诊断和预测任务中,IPDM显著优于现有模型.
• 实验表明,IPDM在预测慢性和突发性疾病方面具有稳定性和令人印象深刻的性能,即使特征或样本很少.
• 该模型有效地解决了与电子健康记录中的数据稀缺性和隐含信息相关的挑战.

结论:

• 在各种临床场景中,IPDM为建立稳定和低资源的医疗诊断系统提供了强大的解决方案.
• 拟议的框架加强了PLM与EHR数据的整合,克服了以前的局限性.
• IPDM显示出改善医疗保健质量的巨大潜力,并减少对广泛医疗资源的依赖.