内轴原发性脑瘤分化:结构化MRI报告与放射科医生图像上的大型语言模型的比较

科学领域:

• 医疗成像中的人工智能
• 机器学习用于诊断支持
• 神经瘤学研究

背景情况:

• 准确区分内轴原发性脑瘤对于有效的治疗计划至关重要.
• 结构化磁共振成像 (MRI) 报告包含有价值的诊断信息.
• 大型语言模型 (LLM) 正成为文本分析和信息提取的强大工具.

研究的目的:

• 根据结构化MRI报告,评估LLM在区分各种内轴原发性脑瘤方面的有效性.
• 将LLM的诊断性能与经过董事会认证的神经放射学家进行比较.
• 确定目前神经瘤诊断中的LLM的优点和局限性.

主要方法:

• 对137个经过手术确认的内轴性初级脑瘤的结构化手术前MRI报告进行分析.
• 使用多个LLM (GPT-4,Claude-3-Opus,Claude-3-Sonnet,GPT-3.5,Llama-2-70B,Qwen1.5-72B,Gemini-Pro-1.0) 来产生前五个差异诊断.
• 将LLM精度 (前1,3,5) 与神经放射学家对实际MRI图像的解释进行了比较.

主要成果:

• 经过董事会认证的神经放射科医生取得了卓越的诊断准确率 (前1名: 85. 4%,前3名: 94. 9%,前5名: 94. 9%).
• 在LLM中,GPT-4表现最高 (前1:65.7%,前3:84.7%,前5:90.5%),前3的精度接近放射科医生的前1位.
• 对质母细胞瘤来说,LLM的准确性很高,但对中枢神经系统 (CNS) 淋巴瘤和其他不太常见的瘤来说却存在挑战.

结论:

• 从结构化MRI报告中对脑瘤进行差异诊断的补充工具.
• 在LLM和解释初级成像数据的专家放射科医生之间存在显著的绩效差距.
• 瘤类型和LLM选择对诊断准确性产生重大影响,强调需要进一步开发和验证.