多模式提示元件对GPT-4V在具有挑战性的脑MRI病例中的诊断性能的影响

科学领域:

• 放射学中的人工智能
• 医学成像分析 医学成像分析
• 自然语言处理自然语言处理.

背景情况:

• 多模式大语言模型 (LLM) 在放射学差异诊断方面表现有前途.
• 不同多式联络输入组合对诊断性能的影响尚不清楚.

研究的目的:

• 评估不同输入元素如何影响GPT-4与视觉 (GPT-4V) 准确性,用于脑MRI差异诊断.
• 量化图像,注释,病史和图像描述对诊断性能的贡献.

主要方法:

• 使用了60个具有挑战性的脑MRI病例,其中有7个提示变化,结合了四个输入元素:图像 (I),注释 (A),病史 (H) 和图像描述 (D).
• 通过Perplexity AI,GPT-4V为每个病例和提示组生成了差异诊断.
• 使用二进制和数值评分来评估准确性,统计分析包括 χ2 和克鲁斯卡尔-瓦利斯测试,以及本雅米尼-霍赫伯格校正.

主要成果:

• 图像,注释,病史和图像描述 (I,A,H,D) 的组合产生了最高的准确性 (69%).
• 图像描述 (D) 和病史 (H) 显著提高了诊断准确度 (分别为OR 68.03和4.18).
• 单独的放射图像 (I) 或带有注释的放射图像 (I,A) 显示了非常低的诊断准确率 (分别为2.2%和1.1%).

结论:

• 文字图像描述是GPT-4V在脑MRI差异诊断中的表现的最关键因素.
• 病史在提高诊断准确度方面也起着重要作用.
• 单独的无注释或注释图像不足以准确基于LLM的差异诊断.