评估人工智能生成的问题对USMLE第一步准备的价值:使用ChatGPT-3.5进行的一项研究
Alan Balu1, Stefan T Prvulovic1, Claudia Fernandez Perez1
1Department of Neurosurgery, Georgetown University School of Medicine, Washington, DC, USA.
Medical teacher
|March 27, 2025
概括
人工智能 (AI) 可以为医学学生生成USMLE第一步的样式问题. 虽然通常是准确的,但需要有针对性的提示来确保主题多样性,并克服医学教育中的AI偏见.
科学领域:
- 医学教育 医学教育
- 医疗保健中的人工智能
- 评估和评价的评估和评估.
背景情况:
- 医学学生越来越多地使用人工智能进行考试准备.
- 人工智能产生的医学考试问题的准确性需要系统的评估.
研究的目的:
- 评估人工智能生成的多选择题的事实准确性和内容分布,用于USMLE第一步准备.
- 调查人工智能工具如ChatGPT-3.5在医疗自我评估中的有效性.
主要方法:
- 开发了精选提示,以使用ChatGPT-3.5.5生成USMLE Step 1风格的多选题.
- 创建了150个问题,并手动审查它们以确保事实准确性和与USMLE第一步内容概要保持一致.
- 分析了Bloom的分类学和主题分布的问题内容.
主要成果:
- 聊天GPT-3.5产生了150个具有合理事实准确性的多选题 (83%没有不准确性,15%的不准确性较小).
- 最初的提示导致了共同的主题;通过精细的提示技术,通过精细的提示技术,提高了主题多样性和第一步的具体性.
- 人工智能对某些疾病有偏见,需要有针对性的提示策略.
结论:
- 聊天GPT-3.5可以生成事实准确的,适合医学学生自我评估的USMLE第一步风格问题.
- 有针对性的提示对于提高人工智能产生的医学教育内容的质量和多样性至关重要.
- 人工智能工具为医学考试准备提供了可行的补充,但需要仔细使用以解决固有的偏见.


