人工智能辅助的自动化短答题评分工具与人类考官的评分有很高的相关性

科学领域:

• 医学教育 医学教育
• 教育中的人工智能
• 自然语言处理自然语言处理.

背景情况:

• 为医学本科生优化简短答案问题 (SAQ) 评估和反是具有挑战性的,因为学生人数不断增加和员工短缺.
• 开发可扩展和有效的评估工具对于医学教育至关重要.
• 自动评分系统为这些挑战提供了潜在的解决方案.

研究的目的:

• 开发和评估使用人工智能 (AI) 的自动化SAQ评分工具 (ASST).
• 评估使用大型语言模型 (LLM) 来根据提供的标题对SAQ进行分级的可行性.
• 为学生提供个性化,细致的反,以他们的书面答案.

主要方法:

• 研究了GPT-4的使用,一个大型语言模型 (LLM),用于系统药理学课程的自动SAQ评分.
• LLM分析了学生的答案与提供的标题,提取关键信息,评分,并产生反.
• 通过平均五个样本运行来评估LLM绩效,并将得分与人类考官评估进行对比,以求相关性.

主要成果:

• 自动SAQ评分工具 (ASST) 与人类考员的分数有很高的相关性,在30个学生答案中,相关系数为0.93和0.96.
• 观察到优异的评级者之间的可靠性,LLM和人类评级者之间的类内相关系数为0.94.
• 由人工智能辅助的工具提供了与专家人类判断密切匹配的得分.

结论:

• 人工智能辅助的SAQ自动评分工具显示,在医学教育中透明和灵活的评分具有显著的前景.
• 该系统与人类评分员的高度相关性表明,它有可能减少教师的工作量.
• 这种方法为学生提供了更细致和可操作的反,增强了学习过程.