在韩国放射学学会培训内考试中,GPT-4 Turbo和GPT-4o的表现

科学领域:

• 医疗教育中的人工智能
• 放射学培训和评估 放射学培训和评估
• 医疗保健中的大型语言模型

背景情况:

• 大型语言模型 (LLM) 为放射学培训提供了潜力.
• 在基于图像的放射学问题上LLMs的表现并未得到充分理解.
• 评估像GPT-4 Turbo和GPT-4o这样的高级LLM对于它们在医学教育中的应用至关重要.

研究的目的:

• 评估GPT-4 Turbo和GPT-4o在放射科医生住院检查中的表现.
• 分析不同类型问题的表现变化 (以图像为基础与仅以文本为基础).
• 为了比较LLM的表现与不同培训水平的放射学 residents.

主要方法:

• 利用了776个多选题,来自韩国放射学学会的培训考试.
• 评价GPT-4 Turbo和GPT-4o在韩语和英语问题集上,温度设置为零.
• 通过五项独立试验的多数投票确定准确性,并与居民绩效进行基准对比.

主要成果:

• 在基于图像 (48.2%对41.8%) 和纯文本 (77.9%对69.0%) 的问题上,GPT-4o的表现优于GPT-4 Turbo.
• 两位LLM在基于图像的问题上表现相对第一年居民,但落后于高级居民.
• 在纯文本问题上,LLM显著优于居民,在英语和韩语输入中表现一致.

结论:

• 在放射学评估中,GPT-4o表现出了比GPT-4 Turbo更高的性能.
• LLM对放射学培训,特别是基于文本的知识获取有前途.
• 需要进一步的研究来增强LLM对复杂的,基于图像的放射性解释的能力.