基于GPT-4的ChatGPT的诊断性能与放射科医生的比较分析,使用真实世界的脑瘤放射学报告

科学领域:

• 放射学中的人工智能
• 机器学习用于医学诊断
• 神经成像分析分析 神经成像分析

背景情况:

• 大型语言模型 (LLM) 在放射学中的诊断任务中显示出潜力.
• 以前的研究经常使用学术测验,限制了现实世界的适用性.
• 评估临床数据的LLM性能对于理解其实际实用性至关重要.

研究的目的:

• 为了评估基于GPT-4的ChatGPT的诊断性能,使用实际的脑瘤临床放射学报告.
• 为了比较GPT-4的诊断准确度与神经放射学家和一般放射学家.
• 探索GPT-4作为神经瘤学诊断辅助的实用性.

主要方法:

• 从手术前瘤患者 (2017-2021) 收集了150份日本大脑MRI报告.
• 放射科医生将报告翻译成英语;GPT-4和五名放射科医生收到了文本调查结果.
• 使用统计测试对病理基础真相进行差异和最终诊断的比较.

主要成果:

• GPT-4实现了73%的最终诊断准确度,与放射科医生 (65-79%) 相比.
• 在神经放射科医生报告与一般放射科医生 (60%) 之间,GPT-4的准确性更高 (80%).
• 在差异诊断方面,GPT-4表现出色 (94%准确度),超过放射科医生 (73-89%).

结论:

• 从MRI报告来看,GPT-4显示出强大的脑瘤诊断能力,与神经放射学家相美.
• GPT-4可以作为神经放射科医生的宝贵第二意见,以及一般放射科医生的指导工具.
• 该研究强调了GPT-4在临床放射学中提高诊断准确性和效率的潜力.