对比基于GPT-4的ChatGPT,基于GPT-4V的ChatGPT和放射科医生在具有挑战性的神经放射病例中的诊断性能
Daisuke Horiuchi1, Hiroyuki Tatekawa1, Tatsushi Oura1
1Department of Diagnostic and Interventional Radiology, Graduate School of Medicine, Osaka Metropolitan University, Osaka, Japan.
Clinical neuroradiology
|May 28, 2024
概括
在具有挑战性的神经放射病例中,基于 ChatGPT 的生成预训练变压器 (GPT) -4 和 GPT-4 与视觉 (GPT-4V) 的 ChatGPT 显示出比放射科医生更低的诊断准确度. 两种人工智能模型都没有达到放射科住院医生或董事会认证放射科医生的性能水平.
科学领域:
- 神经辐射学神经辐射学
- 人工智能在医学中的应用
- 医学诊断 医学诊断 医学诊断
背景情况:
- 人工智能 (AI) 工具,包括像ChatGPT这样的大型语言模型,越来越多地被用于医疗应用.
- 生成式预训练式变压器 (GPT) -4及其视觉能力变体 (GPT-4V) 代表具有潜在诊断能力的先进AI模型.
- 对人类专家进行AI性能评估对于理解他们在临床实践中的作用至关重要.
研究的目的:
- 为了比较基于GPT-4的ChatGPT和基于GPT-4V的ChatGPT与放射科医生的诊断性能.
- 在具有挑战性的神经放射学病例中评估AI诊断准确性.
主要方法:
- 分析了来自"弗赖堡神经病理病例会议"的32个具有挑战性的神经放射病例.
- 基于GPT-4的ChatGPT接收了病史和成像发现;基于GPT-4V的ChatGPT接收了病史和图像.
- 人工智能模型产生的诊断与六名独立放射科医生 (居民和董事会认证) 的诊断和地面真相相比.
主要成果:
- 基于GPT-4的ChatGPT实现了22%的准确性,而基于GPT-4V的ChatGPT实现了16%的准确性.
- 放射学专科医生获得的准确率分别为28%,31%和28%;董事会认证的放射科医生获得的准确率分别为38%,47%和44%.
- 基于GPT-4的ChatGPT的准确性低于所有放射科医生 (不显著);基于GPT-4V的ChatGPT的准确性明显低于两名经过董事会认证的放射科医生.
结论:
- 在这个神经放射学任务中,基于GPT-4的ChatGPT显示出比基于GPT-4V的ChatGPT更好的性能.
- 当前先进的AI模型 (GPT-4和GPT-4V) 在复杂的神经放射病例中不符合人类放射科医生的诊断性能,包括住院医生.
