从临床笔记中提取信息:我们准备好转向大型语言模型了吗?
Yan Hu1, Xu Zuo1, Yujia Zhou2
1McWilliams School of Biomedical Informatics, The University of Texas Health Science Center at Houston, Houston, TX 77030, United States.
与BERT相比,指令调整的大型语言模型MetaAI (LLaMA) 模型在临床信息提取任务中表现更好. 然而,LLaMA模型需要更多的计算资源,并且速度较慢,需要在性能和实际约束之间保持平衡.
科学领域:
- 自然语言处理自然语言处理.
- 人工智能在医学中的应用
- 临床信息学 临床信息学
背景情况:
- 临床信息提取 (IE) 对于利用非结构化的临床笔记至关重要.
- 像LLaMA-2和LLaMA-3这样的大型语言模型 (LLM) 正在成为NLP任务的强大工具.
- 将LLM与BERT等既定模型进行比较,对于理解它们在医疗保健中的有用性至关重要.
研究的目的:
- 评估指令调整的LLaMA-2和LLaMA-3模型的性能,概括性和计算效率.
- 将LLaMA模型与BERT进行临床命名实体识别 (NER) 和关系提取 (RE) 的比较.
- 评估数据可用性对模型性能的影响.
主要方法:
- 来自四个不同的数据源的1588个临床笔记的综合注释体的开发.
- 针对临床NER和RE任务的LLaMA-2和LLaMA-3模型的指令调整.
- 在不同的数据集中比较LLaMA模型与BERT,使用像F1得分这样的指标.
主要成果:
- 在所有评估的数据集中,LLaMA模型的表现始终优于BERT.
- 通过LLaMA-3-70B观察到显著的性能增长,特别是在数据较少的设置和未见的数据上 (NER有7%以上的改善,RE有4%).
- LLaMA模型的计算成本增加,需要更多的内存和GPU小时,运行速度比BERT慢28倍.
结论:
- 指示调整的LLaMA模型显示了临床NER和RE的强大潜力.
- 在提高性能和增加LLaMA模型的计算需求之间存在关键的权衡.
- 在选择临床IE的LLM和BERT之间时,仔细考虑资源限制和特定应用需求至关重要.
更多相关视频
07:50A Metadata Extraction Approach for Clinical Case Reports to Enable Advanced Understanding of Biomedical Concepts
Published on: September 20, 2018
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
相关概念视频
Nursing Clinical Information System
A Nursing Clinical Information System (NCIS) is a specialized type of healthcare information system tailored to meet the unique needs of nursing practice. It incorporates the principles of nursing informatics to streamline information management and improve the quality of care delivery.
Critical attributes of NCIS include:
Clinical Trials: Overview
Clinical Trials
There are four phases in a clinical trial. A phase one...
Improving Translational Accuracy
Improving Translational Accuracy
Documentation in Long-Term and Home Healthcare Setting
Long-Term Care Facilities
