在马来西亚评分药学学生的考试答案时,GPT-4和人类评分器之间的比较:一个横截面研究

科学领域:

• 教育技术的教育技术
• 教育中的人工智能
• 药房 教育 教育 药房 教育

背景情况:

• 手动评分药房学生考试是劳动密集型和不一致的.
• 生成型人工智能,特别是GPT-4,提供了提高分级效率和可靠性的潜力.
• 优化提示对于最大限度地提高AI在教育评估中的表现至关重要.

研究的目的:

• 评估GPT-4在评分药学学生考试答案方面的有效性.
• 评估GPT-4和人类评分器之间的对齐.
• 用优化的提示来确定GPT-4的一致性和错误率.

主要方法:

• 一项比较性研究,使用人类评分器和GPT-4等级的过去药房考试答案.
• 在GPT-4评估中,在四种项目类型中使用了优化的提示和三种交付方法.
• 类内相关系数和错误分析测量了一致性和一致性.

主要成果:

• 通过优化提示,GPT-4表现出中等至优异的可靠性 (ICC=0.617-0.933),显示出与人类评分器的合理对齐.
• 在评分高分答案时,GPT-4表现出较少的一致性.
• 项目类型和基本错误之间的差异凸显了教育工作者持续参与的必要性.

结论:

• GPT-4显示出作为药学教育的补充评分工具的希望,特别是对客观任务,当使用优化提示时.
• 限制包括评分高分答案的变化和错误的可能性,需要人类监督.
• 建议对先进的人工智能模型和各种评估格式进行进一步的研究,以提高分级可靠性.