医学教育中的人工智能:对德国的ChatGPT,Bing和医学学生进行比较分析

科学领域:

• 人工智能在医学中的应用
• 医疗教育 技术 技术 医学教育
• 自然语言处理自然语言处理.

背景情况:

• 大型语言模型 (LLM) 在医学上表现有前途,但它们在非英语医学检查中的表现未得到充分研究.
• 在国家医学检查中,LLM和医学学生之间的直接比较很少.
• 在医学考试中评估LLM可以揭示他们的教育和准备能力和局限性.

研究的目的:

• 评估和比较GPT-4,Bing和GPT-3.5-Turbo在2022年德国医学国家考试中的表现.
• 评估这些大型语言模型相对于医学学生的表现.

主要方法:

• 三个大型语言模型 (LLM) 在2022年德国医学国家考试 (春季和秋季) 的630个问题上进行了测试.
• 分析了与媒体相关的问题和没有媒体相关问题的表现.
• 统计分析包括ANOVA和t测试,用于LLM和医学学生之间的比较.

主要成果:

• 总体而言,GPT-4 (88.1%) 和Bing (86.0%) 的学生表现明显优于医学学生 (74.6%).
• 除了媒体问题外,Bing (90.7%) 和GPT-4 (90.4%) 的表现最高.
• 在秋季考试中,GPT-4和Bing的表现下降,可能是由于媒体问题和增加的难度.

结论:

• 大型语言模型,特别是GPT-4和Bing,显示出作为医学教育工具的巨大潜力.
• 法律学士学位对于预测考试问题和为学生做好准备非常有价值.
• 与医学学生相比,他们的表现表明他们有望融入医学教育和临床环境.