基于规则和大语言模型的表型提取从1型神经纤维化病的临床笔记中的比较

科学领域:

• 计算语言学计算语言学
• 医疗信息学医学信息学
• 遗传学 遗传学 是一个

背景情况:

• 神经纤维素瘤类型1 (NF1) 是一种罕见的遗传疾病,具有多种症状,使得管理和风险评估变得困难.
• 目前用于从临床笔记中识别NF1表型的方法有限,阻碍了研究和风险建模.

研究的目的:

• 开发一个用户友好的管道,从非结构化的临床笔记中提取NF1表型.
• 为了完成这个任务,比较基于规则的NLP与大型语言模型 (LLM) 的有效性和通用性.

主要方法:

• 开发了三个基于LLM和一个基于规则的表型提取管道.
• 通过专家手册审查临床笔记,创建了一个黄金标准数据集.
• 从两个不同的NF1医生的笔记中评估了管道性能和概括性.

主要成果:

• 精细的基于规则的模型在开发和通用性阶段都获得了比LLM更高的F1分数.
• 在没有细化的情况下,LLM在医生之间表现出优越的概括性,性能下降较小.
• 基于规则的模型需要更多的细化,以适应医生特定的术语.

结论:

• 基于规则的NLP为特定任务提供了更高的有效性,但需要更多的调整.
• 在不同的临床环境中,LLM提供了更好的通用性和易于实施.
• 这些发现对开发NF1研究的便携式临床实体提取管道有影响.