在临床注释分类中的大型语言模型中,快速工程和微调策略的比较
Xiaodan Zhang1, Nabasmita Talukdar1, Sandeep Vemulapalli1,2
1Department of Pediatrics and Human Development, College of Human Medicine, Michigan State University, Grand Rapids, MI, USA.
medRxiv : the preprint server for health sciences
|February 19, 2024
概括
大型语言模型 (LLM) 在医疗保健方面表现有前途. 战略性提示工程,而不是微调,显著提高了GPT-4在从患者记录中识别转移性癌症的性能.
科学领域:
- 医疗信息学医学信息学
- 医疗保健中的人工智能
背景情况:
- 大型语言模型 (LLM) 越来越多地被评估为医疗保健应用.
- 现有的研究往往忽视了即时工程和微调策略对LLM绩效的影响.
研究的目的:
- 为了对领先的LLM (GPT-3.5 Turbo,GPT-4,Llama-7B) 与既有模型 (BERT) 和人类专家 (医学研究员) 的表现进行比较.
- 评估快速工程和微调策略的有效性,以在临床出院摘要中识别转移性癌症.
- 在具有挑战性的条件下评估医学文本分析LLM的稳定性.
主要方法:
- 对GPT-3.5 Turbo,GPT-4和Llama-7B与BERT模型和医学研究员进行比较比较.
- 任务:从非结构化的出院总结中识别转移性癌症患者.
- 评估快速工程技术 (清晰度,推理步骤) 和微调 (一次性学习).
主要成果:
- 与所有其他评估模型相比,GPT-4表现出优越的性能.
- 清晰,简洁的提示包含推理步骤显著改善了LLM的性能.
- 一次性学习和微调并没有产生增量绩效效益.
- 即使关键关键词被删除或输入数据被部分丢弃,模型准确性仍然很高.
结论:
- 具有战略性提示工程的GPT-4可能会替代PubMedBERT等专业模型进行临床任务.
- 开源模型提供了改进的机会,并适合临床部署.
相关概念视频
01:29Mechanistic Models: Compartment Models in Algorithms for Numerical Problem Solving
54
Mechanistic models play a crucial role in algorithms for numerical problem-solving, particularly in nonlinear mixed effects modeling (NMEM). These models aim to minimize specific objective functions by evaluating various parameter estimates, leading to the development of systematic algorithms. In some cases, linearization techniques approximate the model using linear equations.
In individual population analyses, different algorithms are employed, such as Cauchy's method, which uses a...
In individual population analyses, different algorithms are employed, such as Cauchy's method, which uses a...
54
02:07Improving Translational Accuracy
2.6K
2.6K