在医疗保健专业中教授临床推理学习者使用人工智能生成的脚本对应性测试:混合方法形成性评估

科学领域:

• 医疗教育 技术 技术 医学教育
• 医疗保健中的人工智能
• 临床推理评估评估

背景情况:

• 人工智能 (AI) 正在改变医学教育的教学和评估工具.
• 脚本一致性测试 (SCT) 对于评估不确定性下的临床推理是有效的.
• 传统的SCT依赖资源密集型专家小组进行评分和反.

研究的目的:

• 评估大型语言模型 (LLM) 在模拟SCT专家判断方面的有效性.
• 评估AI在创作,评分和为心脏病学和肺病学SCTs提供反方面的能力.
• 为了衡量学生对SCT难度的看法以及AI产生的反的教学价值.

主要方法:

• 这是一项涉及25名医学学生的横截面混合方法研究.
• 由ChatGPT-4o撰写的32项SCT进行了管理.
• 六名LLM (受过培训和未受过培训) 担任模拟专家,进行评分和反生成.

主要成果:

• 训练有素的人工智能模型与未经训练的模型相比,与学生的反应有显著更高的一致性 (ρ=0.64) (ρ=0.41).
• 在62.5%的案例中,人工智能产生的反被认为是最有帮助的,特别是来自受过训练的模型.
• 该SCT显示出良好的内部一致性 (克朗巴赫α=0.76),学生认为难度中等.

结论:

• 训练有素的生成AI模型可以可靠地模拟SCTs中的专家临床推理.
• 人工智能提供了一种潜在的解决方案,可以简化SCT设计,并提供真实的,具有教育价值的反.
• 未来的研究应该探索人工智能对学习的纵向影响,以及医疗教育的混合人-人工智能模型.