最先进的大型语言模型在ACR培训考试中的性能比较:2025年更新

科学领域:

• 医疗教育中的人工智能
• 放射学委员会考试的准备工作 放射学委员会考试的准备工作
• 大型语言模型 (LLM) 绩效评估

背景情况:

• 之前的研究评估了大型语言模型 (LLM) 在放射学委员会风格评估中的表现.
• 这项研究扩展了之前的工作,通过评估ACR诊断放射学培训考试 (DXIT) 的新型LLM.

研究的目的:

• 评估尖端LLMs (GPT-4o,GPT-o1,GPT-o3,Claude,Gemini,Grok) 在标准化DXIT问题上的表现.
• 为了比较基于文本和基于图像的问题的模型准确性,以评估多模式推理.
• 通过比较原始问题与修订问题的表现来调查潜在数据污染的影响.

主要方法:

• 通过使用106个公开可用的DXIT问题,评估了7个LLM.
• 模型使用标准化的指令集被提示模拟居民的反应.
• 计算了未调整和逻辑调整的准确性,并对基于文本和图像的问题进行了子组分析. 用修订的问题来测试数据污染.

主要成果:

• GPT-o1 (71.7%),GPT-4o (69.8%) 和GPT-o3 (68.9%) 实现了最高的未经调整的精度.
• 在逻辑调整精度方面也观察到类似的趋势,GPT-o1,GPT-4o和GPT-o3的表现优于其他模型.
• 在基于文本的问题上,GPT-4o的表现明显更好;在修订后的问题上的表现与原始问题相比,这表明数据污染有限.

结论:

• 现代的LLM,特别是来自OpenAI的LLM,在放射学董事会式评估方面表现强并有所改善.
• 对修订后提示的可比性能表明数据污染的作用有限.
• 士课程显示出通过个性化的反和实践来支持放射学住院教育的巨大潜力.