在药房教育中的重症监护评估中评估大型语言模型表现的准确性和可重复性
Huibo Yang1, Mengxuan Hu2, Amoreena Most3
1Department of Computer Science, University of Virginia, Charlottesville, VA, United States.
大型语言模型 (LLM) 在药物治疗评估中表现有前途,ChatGPT-4获得了最高的准确性. 然而,人类药学学生在知识应用方面表现优于LLM,这表明重症监护药物管理的局限性.
科学领域:
- 医疗保健中的人工智能
- 药物治疗教育 药物治疗教育
- 医疗信息学 医疗信息学
背景情况:
- 大型语言模型 (LLM) 证明了医疗执照和诊断考试的熟练程度.
- 对于综合药物管理 (CMM) 的LLM的比较评估是有限的.
- 临床护理药疗评估对于药学博士学生至关重要.
研究的目的:
- 评估各种法学士的绩效优化策略.
- 评估关键护理药物治疗问题的LLM绩效.
- 将LLM能力与药学博士学生表现进行比较.
主要方法:
- 对五个LLM (GPT-3.5,GPT-4,Claude 2,Llama2-7b,Llama2-13b) 的比较分析,使用219个多选择药物治疗问题.
- 通过每个LLM的五个查询来评估准确度和差异.
- 评估快速工程技术 (例如,思维链) 和定制GPT培训.
- 与第三年药学学生对知识回忆和应用问题的LLM绩效的比较.
主要成果:
- 聊天GPT-4获得了最高的准确度 (71.6%),而Llama2-13b显示了最低的差异 (0.070).
- 在知识回忆问题上,LLM的表现更好 (例如,ChatGPT-4:87%),而不是知识应用问题 (例如,ChatGPT-4:67%).
- 药学学生的整体准确度 (81%) 超过了最佳的LLM准确度 (73%),特别是在知识应用方面 (学生:80%与LLMs:68%).
结论:
- 聊天GPT-4是关键护理药房问题的最准确的LLM,具有提高性能的快速工程.
- 在知识回忆方面,LLM的成绩与药学学生相美,但在知识应用方面却低于他们.
- 未来的研究应该专注于针对特定成果的定制LLM培训,目前的依赖仅限于基于回忆的问题.
更多相关视频
08:05Measuring Statistical Learning Across Modalities and Domains in School-Aged Children Via an Online Platform and Neuroimaging Techniques
Published on: June 30, 2020
07:31Implementation of a Real-Time Psychosis Risk Detection and Alerting System Based on Electronic Health Records using CogStack
Published on: May 15, 2020
相关概念视频
Improving Translational Accuracy
Pharmacokinetic Models: Comparison and Selection Criterion
Physiological models take a detailed approach by considering specific molecular processes. They can predict drug distribution, metabolism, and elimination changes, providing a comprehensive understanding of how drugs interact with the body.
Analysis of Population Pharmacokinetic Data
Model Approaches for Pharmacokinetic Data: Distributed Parameter Models
The distributed parameter models are specifically designed to account for variations and differences in some drug classes. This model is particularly useful for assessing regional concentrations of anticancer or...
Guidelines for Nursing Documentation I
Factual:
The following points emphasize the significance of upholding accurate and unbiased documentation in healthcare.
Errors occurring during blood pressure monitoring
Several factors...
