人工智能聊天机器人对英国医学考试问题有希望,但存在局限性:一项比较性能研究

科学领域:

• 医疗教育中的人工智能
• 自然语言处理应用程序

背景情况:

• 大型语言模型 (LLM) 为医学培训,包括考试准备提供了潜在的好处.
• 严格的评估是必要的,以评估LLM在复杂的医学教育任务上的表现.

研究的目的:

• 评估公开可访问的LLMs在模拟的英国医学委员会考试上的表现.
• 为了比较各种LLM在一组不同的医学考试问题上的准确性.

主要方法:

• 七名法学士 (ChatGPT-3.5,ChatGPT-4,Bard,困惑,Claude,Bing,Claude Instant) 回答了来自英国9次医学考试的423个板式问题.
• 问题涵盖了手术,儿科和其他学科,包括多选项,true/false和"选择N"格式.
• 准确性被分级,并进行统计分析来比较LLM的表现,不包括泄露的问题.

主要成果:

• 聊天GPT-4获得了最高的准确性 (78.2%),其次是Bing (67.2%),克劳德 (64.4%) 和克劳德即时 (62.9%). 困惑感得分最低 (56.1%). 困惑感得分最低 (56.1%).
• 在LLM之间观察到显著的绩效差异 (p < 0.001).
• 与真假或"选择N"格式相比,所有LLM在多选题中的表现都更好.

结论:

• LLM在回答复杂的医学委员会考试问题方面存在局限性,需要进一步精细化以用于教育.
• 尽管目前的局限性,LLMs具有提高医疗培训的潜力,当被深思熟虑地实施时.
• 未来的研究应该专注于专业特定的LLM及其最佳整合到医学课程中.