结构化药物标记作为语言回归任务:比较零和几次射击的GPT与微调模型

科学领域:

• 在医疗保健中的自然语言处理.
• 临床数据提取
• 人工智能在医学中的应用

背景情况:

• 电子健康记录 (EHR) 药物签名 (sigs) 包含关键数据,通常是无结构的.
• 手动注释复杂的符号是耗时和劳动密集的.
• 大型语言模型 (LLM) 提供了自动化这种提取过程的潜力.

研究的目的:

• 将GPT-3.5和GPT-4的性能与微调模型 (ClinicalBERT,BlueBERT) 的性能进行比较,用于从复杂药物标志中提取平均每日剂量.
• 评估模型处理氧化和普得尼松的信号的能力.

主要方法:

• 用手动注释的 sigs 作为黄金标准进行了比较分析.
• 这项研究包括702份氧化和22,104份普得尼松处方.
• 对每个模型的不同级别的上下文学习进行了绩效评估.

主要成果:

• GPT-4表现出卓越的性能,氧化的准确度为94%,尼松的准确度为95%,并提供了100个上下文示例.
• 在提取药物剂量方面,GPT-4显著超过了GPT-3.5,ClinicalBERT和BlueBERT.
• 分析表明,大多数分歧源于模两可的签名,甚至手动注释器也显示出不一致.

结论:

• 具有最小的手动注释,GPT-4擅长从复杂的药物标志中提取结构化数据.
• 在临床和研究环境中,LLM,特别是GPT-4,对无代码,自动数据提取具有显著的前景.
• 该研究强调了LLM在提高EHR数据实用性的潜力.