医学胚胎学LLM表现的比较分析:ChatGPT,Claude,Gemini和Copilot的跨平台研究

科学领域:

• 医学教育 医学教育
• 人工智能在医学中的应用
• 胚胎学 胚胎学

背景情况:

• 将人工智能 (AI),特别是大型语言模型 (LLM) 整合到医学教育中,正在改变知识获取和评估.
• 在复杂的科学领域,LLM提供了个性化的学习体验的潜力.

研究的目的:

• 为了比较先进的LLM聊天机器人的医疗胚胎学知识的性能.
• 评估不同的AI模型在回答USMLE样式问题时的可靠性和准确性.

主要方法:

• 使用了来自医学胚胎学课程的200个USMLE风格的多选择题.
• 在20个主题中测试了五个LLM聊天机器人 (GPT-4o,Claude,Gemini,Copilot,GPT-3.5).
• 统计分析包括类内相关系数 (ICC) 和ANOVA来评估性能和可靠性.

主要成果:

• 平均而言,聊天机器人正确回答了78.7%的问题.
• GPT-4o (89.7%) 和克劳德 (87.5%) 的表现最高,两者之间没有显著差异.
• GPT-3.5表现最低 (59.0%),而Gemini (74.8%) 和Copilot (82.5%) 显示了中间的结果. GPT-4o,克劳德和双子星表现出良好的测试重复测试可靠性 (ICC>0.80).

结论:

• 像GPT-4o和Claude这样的高级LLM显示了提高医学胚胎学教育的巨大潜力.
• 这些人工智能模型可以提供准确可靠的评估,支持量身定制的指令.
• 尽管有希望的结果,人类教练验证仍然是确保人工智能提供的医学知识准确性的关键.