在使用大型语言模型的急诊室成像上自动识别偶然的肝硬化

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 放射学报告 放射学报告

背景情况:

• 肝硬化是严重肝病的前体,具有显著的发病率和死亡率风险.
• 在急诊室的常规腹部成像中,偶然的肝硬化症往往没有被诊断出来.
• 电子健康记录包含有价值的成像报告数据,这些数据作为离散元素并不容易获得.

研究的目的:

• 从成像报告中评估大语言模型 (LLM) 在检测肝硬化症方面的可靠性.
• 在没有广泛的自然语言处理 (NLP) 培训的情况下评估LLM绩效.
• 确定LLM是否可以识别用于早期疾病干预的偶然发现.

主要方法:

• 分析了从2016年8月到2023年12月的200个成年CT腹部成像报告.
• 三个Azure OpenAI模型 (ChatGPT 3.5,4,4o) 使用结构化提示来识别肝硬化症.
• 模型的性能与医生评论对准确性,评级者之间的可靠性,灵敏性和特异性进行了评估.

主要成果:

• 精度在96.2% (v3.5) 到98.8% (v4o) 之间.
• 在10次代中,评分间的可靠性很高 (0.99-1.00).
• 所有模型都表现出超过0.9的灵敏度和特异性,其中v4o显示出最低的错误率 (1.3%).

结论:

• 从成像报告中,LLM可以有效地识别偶发性肝肥胖症,从而促进早期干预.
• 法律法规民主化NLP,使电子医疗记录的用户友好分析成为可能.
• 这种方法绕过了开发复杂,专门的NLP模型的需要.