大型语言模型和电子健康记录的基础模型的摇摇欲的基础

科学领域:

• 人工智能在医学中的应用
• 临床信息学 临床信息学
• 生物医学数据科学 生物医学数据科学

背景情况:

• 像ChatGPT和AlphaFold这样的基金会模型引起了人们对将类似的AI应用于电子医疗记录 (EMR) 的兴趣.
• 这些模型周围充满了大量的作,但在了解它们的真正能力和对医疗保健的影响方面存在关键差距.

研究的目的:

• 在非成像EMR数据上训练的现有基础模型进行审查和分类.
• 发现临床基础模型当前培训数据和评估方法的局限性.
• 提出一个改进的评估框架,以评估这些模型在医疗保健中的实际好处.

主要方法:

• 在临床文本和/或结构化EMR数据上训练的84个基础模型进行了叙述性审查.
• 开发了一个分类系统,根据架构,训练数据和潜在的用例对模型进行分类.
• 分析评估任务,以评估它们与卫生系统需求的相关性.

主要成果:

• 大多数审查的模型都使用了小型的,特定的临床数据集 (例如,MIMIC-III) 或广泛的生物医学机构 (例如,PubMed).
• 当前的评估任务经常无法证明对模型对卫生系统的有用性有意义的见解.
• 发现模型性能指标与实际医疗保健指标之间缺乏对齐.

结论:

• 现有的临床基础模型通常依赖于有限的数据集,并使用不适当的指标进行评估.
• 迫切需要更强大的评估策略,反映现实世界的医疗保健影响.
• 提出了改进的评估框架,以更好地衡量基础模型在临床环境中的切实的好处.