人工智能与项目分析相遇 (AI与IA相遇):研究聊天机器人训练和检测和纠正MCQ缺陷的性能
Mashaal Sabqat1, Rehan Ahmed Khan2, Masood Jawaid3
1Mashaal Sabqat, MBBS, MHPE Assistant Professor Medical Education, Islamic International Medical College, Assistant Director Riphah Institute of Assessment, Riphah International University, Islamabad, Pakistan.
聊天GPT在识别和纠正多选题 (MCQ) 缺陷方面显示出潜力. 然而,它的有效性受到问题的复杂性和培训的限制,没有观察到显著的效率提高.
科学领域:
- 人工智能的人工智能
- 教育技术的教育技术
- 医学教育 医学教育
背景情况:
- 人工智能 (AI) 越来越多地融入各行业,为提高效率提供了潜力.
- 人工智能在教育评估中的应用,特别是像ChatGPT这样的大型语言模型,需要进行彻底的调查.
- 识别和纠正多选题 (MCQ) 中的缺陷对于有效的评估设计至关重要.
研究的目的:
- 评估ChatGPT在识别和纠正MCQ中的缺陷方面的能力.
- 评估针对性培训对ChatGPT在MCQ缺陷检测和纠正方面的表现的影响.
主要方法:
- 一项三阶段的干预研究利用了NBME指南中的有缺陷的MCQ.
- 采用ChatGPT来识别缺陷并建议纠正,随后进行培训阶段.
- 统计分析包括SPSS,百分比和McNemar的测试来评估绩效变化.
主要成果:
- 聊天GPT成功地识别了诸如"上述没有"和"绝对术语"之类的缺陷,但在"复杂的茎"和"模糊的频率术语"方面遇到了困难.
- 训练提高了ChatGPT检测"复杂的茎"和"绝对术语",但不是"非平行选项"或"单词重复".
- 没有观察到ChatGPT在缺陷检测 (p=1.00) 或纠正 (p=0.125) 的效率有统计学意义上的提高,并且在高峰时段的性能有所不同.
结论:
- 虽然像ChatGPT这样的AI聊天机器人在MCQ分析中展示了潜力,但在处理复杂的问题结构和特定缺陷类型方面仍然存在局限性.
- 进一步的研究对于完善教育评估的AI工具至关重要,解决准确性,错误预防和复杂的对话分析.
- 该研究强调需要持续开发,以充分利用AI在教育环境中的能力.
更多相关视频
10:43Eye-tracking Technology and Data-mining Techniques used for a Behavioral Analysis of Adults engaged in Learning Processes
Published on: June 10, 2021
12:55Multimodal Protocol for Assessing Metacognition and Self-Regulation in Adults with Learning Difficulties
Published on: September 27, 2020
相关概念视频
Stereotype Content Model
Quality Assurance
Stereotype Threat and Self-fulfilling Prophecies
Metacognition
Improving Translational Accuracy
Nonsense-mediated mRNA Decay
Usually, Upf3 binds to an Exon Junction Complex (EJC) at mRNA splice sites. If a ribosome fully translates the mRNA,...
