评估大型语言模型在眼科中命名实体识别的性能 临床自由文本笔记

科学领域:

• 自然语言处理自然语言处理.
• 医疗信息学 医疗信息学
• 医疗保健中的人工智能

背景情况:

• 从临床笔记中准确地提取药物信息对于患者的安全和护理至关重要.
• 传统的自然语言处理 (NLP) 模型,如来自变压器的双向编码器表示 (BERT),已用于临床文本中的命名实体识别 (NER).
• 评估较新的大型语言模型 (LLM) 与专业领域的既定模型的性能至关重要.

研究的目的:

• 为了比较各种LLM (ChatGPT-3.5,ChatGPT-4,PaLM 2,Gemini) 与微调的BERT模型 (BERT,BioBERT,ClinicalBERT,DistilBERT,RoBERTa) 的性能,用于识别眼科药物实体的进展说明.
• 评估这些模型在一个高度特定领域的医学文本分析任务中的有效性.
• 确定LLMs在改善医疗NER和患者护理方面的潜力.

主要方法:

• 使用了来自480名患者的5,520行注释眼科进展笔记的数据集.
• 数据被分为培训,验证和测试集.
• 直接评估了LLM,而基于BERT的模型在药物实体识别 (名称,路线,频率) 的培训套件上进行了微调.

主要成果:

• 在测试组中,GPT-4取得了最高的性能,宏观平均F1得分为0.962.
• 在精心调整的BERT模型中,BioBERT表现最好,宏观平均F1得分为0.875.
• 现代的LLM在这个专门的眼科药物识别任务中显著优于BERT模型.

结论:

• 大型语言模型,特别是GPT-4,与基于BERT的模型相比,在从专门的临床文本中提取药物信息方面表现优越.
• 法律学历在推动医疗命名实体认可和提高患者护理质量方面具有显著的前景.
• 这些发现突显了LLM在增强临床数据分析和支持医疗保健专业人员方面的潜力.