从BERT到生成AI - - 在一群肺癌患者中比较仅编码器与大型语言模型,以在非结构化医疗报告中识别命名实体

科学领域:

• 生物医学信息学 生物医学信息学
• 自然语言处理自然语言处理.

背景情况:

• 从非结构化医疗文件中提取临床实体对于临床决策支持和文档至关重要.
• 命名实体识别 (NER) 是处理临床文本数据的关键.

研究的目的:

• 评估和比较不同NER模型的性能,包括基于变压器和大型语言模型 (LLM),用于临床实体提取.
• 评估LLM对于处理病理学和放射学报告的适用性.

主要方法:

• 评估了三种NER方法:带有变压器的平面NER,带有多任务学习的嵌套NER和使用LLMs的基于指令的NER.
• 在2013年病理学和413个放射学报告的数据集上训练和测试模型.

主要成果:

• 基于编码器的NER模型 (平面和嵌套) 优于基于LLM的方法.
• 平面NER模型实现了F1得分,病理学报告高达0.88分,放射学报告高达0.78分.
• LLM 显示高精度但回忆能力低 (F1 评分为 0.18-0.30),表明过于保守的输出生成.

结论:

• 目前的LLM不适合进行全面的临床实体提取,原因是回忆能力不佳,特别是许多实体类型.
• 基于编码器的NER模型,特别是那些经过生物医学数据预训练的模型,是临床文本分析的首选方法.
• 进一步的LLM改进可能会改善回忆力,但当前的计算开销提供了有限的性能优势.