通过大型语言模型辅助分析加强瘤监测:对GPT-4和双子座进行比较研究,评估从连续腹部CT扫描报告中获得的瘤问题

科学领域:

• 医疗成像中的人工智能
• 放射学报告分析分析
• 使用人工智能进行瘤监测.

背景情况:

• 连续放射学报告对于监测癌症进展至关重要.
• 手动分析这些报告可能耗时且容易出现错误.
• 大型语言模型 (LLM) 为自动化分析提供了潜力.

研究的目的:

• 为了比较GPT-4和Gemini在分析连续放射学报告方面的能力.
• 评估LLM在识别需要临床关注的瘤问题的表现.
• 评估LLM准确性在匹配发现和确定瘤状况跨报告.

主要方法:

• 分析了205名两次连续放射性报告的患者.
• 为LLM分析设计了一个三步提示.
• 放射科医生建立了一个六级的地面真理分类来进行比较.
• 根据准确性,精度,回忆和F1分数来评估GPT-4和双子座的性能.

主要成果:

• 在匹配的发现中,GPT-4的准确性明显高 (96.2%),高于双子座 (91.7%).
• 对于瘤问题识别,GPT-4表现出更高的精度 (0.68对0.63),回忆 (0.91对0.80) 和F1分数 (0.78对0.70).
• 对于与瘤相关的发现,GPT-4在确定瘤状况方面更准确.

结论:

• 对连续放射学报告的LLM辅助分析显示了加强瘤监测的前景.
• 在报告分析的关键绩效指标上,GPT-4的表现优于Gemini.
• 精心设计的提示对于有效的放射学LLM应用至关重要.