在"请诊断"的情况下,GPT-4o,Claude 3 Opus和Gemini 1.5 Pro的诊断性能
Yuki Sonoda1, Ryo Kurokawa1, Yuta Nakamura1
1Department of Radiology, Graduate School of Medicine, The University of Tokyo, 7-3-1 Hongo, Bunkyo-ku, Tokyo, 113-8655, Japan.
Japanese journal of radiology
|July 2, 2024
概括
与GPT-4o和Gemini 1.5 Pro.相比,Claude 3 Opus在放射学测试中表现出更高的诊断准确性,而GPT-4o和Gemini 1.5 Pro.则表现出更高的诊断准确性. 这些大型语言模型在协助放射科医生进行成像解释方面显示出有前途.
科学领域:
- 人工智能在医学中的应用
- 医学成像分析 医学成像分析
- 在医疗保健中的自然语言处理.
背景情况:
- 大型语言模型 (LLM) 显示出越来越多的理解复杂文本数据的能力.
- 在解释患者病史和放射学发现方面,LLM存在潜在的应用.
- 需要对领先的LLM在放射学中的诊断性能进行比较分析.
研究的目的:
- 评估和比较三个主要的大型语言模型的诊断性能:GPT-4o,Claude 3 Opus和Gemini 1.5 Pro.
- 在放射学背景下使用标准化诊断测试系列评估LLM准确性.
- 在领先的LLMs中识别诊断能力的差异.
主要方法:
- 从324个放射学测验病例 (1998-2023) 中提取了文本临床病史和成像发现.
- 通过API使用GPT-4o,Claude 3 Opus和Gemini 1.5 Pro生成了前三种差异诊断.
- 使用Cochrane的Q和McNemar的测试进行了比较分析.
主要成果:
- 克劳德3 Opus实现了最高的初级诊断准确率 (54.0%),其次是GPT-4o (41.0%) 和双子座1.5 Pro (33.9%).
- 考虑到前三种差异性诊断,准确率提高到62.0% (Claude 3 Opus),49.4% (GPT-4o) 和41.0% (Gemini 1.5 Pro). 在这些诊断中,差异性诊断的准确率有所提高.
- 在所有模型对之间都发现了统计学上显著的性能差异.
结论:
- 克劳德3 Opus在解决放射学诊断测试中表现优于GPT-4o和Gemini 1.5 Pro.
- 当提供准确的文字描述时,LLM可以通过解释成像发现来帮助放射科医生.
- 对LLM在临床放射学工作流程中的整合进行进一步研究是有必要的.


