从心脏CT报告中获得的CAD-RADS 2.0分类的大型语言模型的性能

科学领域:

• 医疗成像中的人工智能
• 在医疗保健中的自然语言处理.
• 心血管疾病的诊断 心血管疾病的诊断

背景情况:

• 冠状动脉疾病报告和数据系统 (CAD-RADS) 2.0为心脏CT提供了标准化的解释指南.
• 准确和一致的CAD-RADS 2.0评分对于疾病特征和临床决策至关重要.
• 本研究探讨了使用大型语言模型 (LLM) 来自动化CAD-RADS 2.0从心脏CT报告中的评分.

研究的目的:

• 评估各种最先进的LLM自主生成CAD-RADS 2.0分数的能力.
• 为了评估与专家放射科医生共识相比,LLM生成的得分的准确性.
• 确定LLMs在提高心脏CT报告效率和一致性方面的潜力.

主要方法:

• 一个200个心脏CT报告的数据集被策划用于评估.
• 测试了几种LLM,包括GPT-3.5,GPT-4o,Mistral 7b,Mixtral 8×7b,Llama3 8b,Llama3 8b (64k上下文) 和Llama3 70b,这些都是测试的.
• 使用上下文学习,并将生成的分数与两名心胸放射科医生建立的基本真相进行了比较.

主要成果:

• 在生成完整的CAD-RADS 2.0分数方面,GPT-4o和Llama3 70b表现出最高的准确性 (93%和92.5%).
• 混合8×7b实现了78%的准确性,而Llama3 8b显示了41.5%的准确性.
• 像Mistral 7b和GPT-3.5这样的旧型号表现不佳,精度为16%.

结论:

• 特别高级的LLM可以自主生成准确的CAD-RADS 2.0分数,用于心脏CT报告.
• 这种能力可以显著提高心脏CT报告的效率和一致性.
• 开源模型提供了竞争力的准确性和本地托管的优势,解决了数据安全问题.