将生成型大语言模型与药学学生在治疗学考试中的表现进行比较
Christopher J Edwards1, Bernadette Cornelison1, Brian L Erstad1
1Department of Pharmacy Practice & Science, University of Arizona R. Ken Coit College of Pharmacy, Tucson, AZ, United States of America.
像ChatGPT-3.5这样的生成语言模型在治疗学考试中表现明显低于药学学生. 人工智能在基于应用和基于病例的药物治疗问题上扎.
科学领域:
- 药理学和药房教育 药理学和药房教育
- 人工智能在医疗保健教育中的应用
背景情况:
- 生成式语言模型 (GLM) 在各种专业领域越来越多地被使用.
- 在专门的学术评估中评估GLMs (如ChatGPT-3.5) 的性能对于了解其能力和局限性至关重要.
研究的目的:
- 评估和比较ChatGPT-3.5与药学学生在药物治疗学考试中的表现.
- 确定ChatGPT-3.5表现较弱的特定问题类型.
主要方法:
- 来自4年制药医疗计划的药物治疗学考试问题被分类为基于案例或非基于案例的,以及申请或召回.
- 聊天GPT-3.5回答了这些问题,其答案得分并与学生绩效数据进行比较.
- 使用统计分析,包括奇平方,来确定与错误反应相关的因素.
主要成果:
- 聊天GPT-3.5的平均综合分数为53 (SD=19.2),明显低于药学学生的平均82 (SD=4) (p=0.0048).
- 该模型正确回答了所有问题的51%.
- 与基于回忆 (80%) 和非基于案例 (74%) 的问题相比,ChatGPT-3.5在基于应用程序 (44%) 和基于案例 (45%) 的问题上表现出较低的准确性.
结论:
- 在药理学考试中,ChatGPT-3.5的成绩低于药学学生的平均水平.
- 该模型的局限性在于其在基于应用和基于复杂案例的场景中的精度降低.
- 这些发现强调需要仔细考虑人工智能能力和在教育评估和项目开发中的局限性.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
10:17Improving Student Outcomes with an Adaptable Molecular Cloning Course-Based Undergraduate Research Experience
Published on: November 15, 2024
相关概念视频
Pharmacokinetic Models: Overview
There are three primary types of models: empirical, compartment, and physiological. Empirical models, with minimal...
Pharmacokinetic Models: Comparison and Selection Criterion
Physiological models take a detailed approach by considering specific molecular processes. They can predict drug distribution, metabolism, and elimination changes, providing a comprehensive understanding of how drugs interact with the body.
Drug Administration and Therapy Phases: Overview
The pharmaceutical phase focuses on leveraging the physicochemical properties of the drug to design and manufacture an effective product. Variants include orally administered tablets or capsules, topical creams or ointments, and parenteral-delivery solutions or emulsions.
The pharmacokinetic phase...
Three-Compartment Open Model
Analysis of Population Pharmacokinetic Data
Bioequivalence: Overview
