在宫癌控制方面推进医学教育,使用大型语言模型来生成多选择题
Mingyang Chen1, Jiayi Ma2, Xiaoli Cui3
1School of Population Medicine and Public Health, Chinese Academy of Medical Sciences and Peking Union Medical College, Beijing, China.
Medical teacher
|June 12, 2025
概括
大型语言模型 (LLM) 可以创建与临床医生生成的问题相似的宫癌控制多选择题 (MCQ). 虽然临床医生在认知复杂性方面表现出色,但LLM在教育内容开发方面提供了潜在的效率增长.
科学领域:
- 医学教育 医学教育
- 医疗保健中的人工智能
背景情况:
- 有效的宫癌控制依赖于强大的教育材料.
- 多选题 (MCQ) 是医学教育中评估知识的常见工具.
- 大型语言模型 (LLM) 帮助生成教育内容的潜力是一个新兴的研究领域.
研究的目的:
- 评估使用LLM来生成子宫癌控制教育的MCQ的可行性.
- 将LLM生成的MCQ与人类临床医生创建的MCQ进行比较.
主要方法:
- 两个LLM (GPT-4o,Baichuan4) 每个都使用精细的提示生成了40个MCQ.
- 临床医生生成了40个MCQ.
- 120个MCQ由12名专家对正确性,清晰性,认知水平,临床相关性和可解释性进行了评估.
- 312名从业者测试了难度和歧视力.
- 参与者试图确定每个MCQ的来源.
主要成果:
- 在大多数评估的维度上,LLM生成的MCQ与临床医生生成的MCQ相似.
- 临床医生生成的MCQ显示了更高的认知水平.
- 在LLM和临床医生生成的MCQ之间,没有发现难度或歧视力的显著差异.
- 由LLM生成的MCQ的认可率在32%至50%之间.
结论:
- 在适当的提示下,LLM可以生成与临床医生生成的MCQ相似的MCQ.
- 临床医生制作了具有更高认知水平的MCQ.
- 通过LLM辅助的MCQ生成显示了提高医学教育效率的前景,但需要进行全面的质量保证验证.
