将临床医生的专业知识与快速工程结合起来,可以提高小语言模型的可靠性,用于在电子健康记录中识别癌症实体

科学领域:

• 在瘤学瘤学.
• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.

背景情况:

• 非结构化电子健康记录 (EHR) 中的真实世界数据 (RWD) 对癌症研究至关重要.
• 从EHR中提取结构化信息是具有挑战性的,因为语言复杂性和隐私问题.

研究的目的:

• 评估四个小语言模型 (SLMs) 的性能,用于从意大利EHR在非小细胞肺癌 (NSCLC) 中提取信息 (IE).
• 评估提示策略和临床医生的专业知识对IE准确性的影响.

主要方法:

• 使用零射击,少数射击和注释的少数射击提示进行对比LLaMA,Mistral,BioMistral和MedLLaMA.
• 从NSCLC的APOLLO 11试验中评估意大利EHR的性能.
• 涉及不同专业知识的临床医生来分析快速设计的有效性.

主要成果:

• 一般用途的SLM在二进制特征提取方面表现优于生物医学模型.
• 多类变量 (TNM分阶段,PD-L1,ECOG) 由于隐含语言提出了挑战.
• 短暂的提示和母语输入提高了表现,减少了幻觉.
• 临床专业知识改善了注释的一致性,特别是对于新手用户.

结论:

• 保护隐私的SLM可以在本地部署,以从意大利EHR中安全有效地提取癌症数据.
• 建议使用混合系统,将SLM与专家临床输入相结合.
• 将临床文档与SLM能力结合起来,对于未来的整合至关重要.