自动心磁共振解释来自提示的大型语言模型

科学领域:

• 医疗成像中的人工智能
• 心脏病学和心血管疾病.
• 机器学习用于医疗保健

背景情况:

• 心脏磁共振 (CMR) 解释是复杂且耗时的.
• 大型语言模型 (LLM) 提供了自动化CMR报告分析的潜力.
• 这项研究调查了LLM用于分类和诊断三种常见的心脏病:心肌梗塞 (MI),扩张性心肌病 (DCM) 和多变性心肌病 (HCM).

研究的目的:

• 评估六个LLM在CMR报告分类和诊断方面的表现.
• 将LLM的准确性和一致性与放射科医生的解释进行比较.
• 评估提示型 (最小型与信息型) 对LLM诊断能力的影响.

主要方法:

• 从2015年1月到2024年7月的543份CMR报告 (MI,DCM,HCM) 的回顾性分析.
• 六个LLM (GPT-3.5,GPT-4.0,Gemini-1.0,Gemini-1.5,PaLM,LLaMA) 经过最小的信息提示进行了测试.
• 使用精度 (ACC),平衡精度 (BAC),Gwet的AC1,ROC曲线,以及可重现性的Cohen的卡帕来评估性能.

主要成果:

• GPT-4.0显示了最高的性能,通过信息提示实现了95.8%的ACC和97.1%的BAC.
• GPT-4.0显示了与放射科医生的最高一致性 (AC1=0.82最小,0.93信息).
• 大多数LLM的信息提示显著改善了ACC;所有模型都表现出良好的可重现性 (κ>0.80).

结论:

• 在自动化CMR解释方面,LLM,特别是带有信息提示的GPT-4.0表现出色.
• 这些模型有可能在CMR诊断工作流程中作为辅助工具.
• 从CMR报告中,LLM可以显著帮助对常见心脏病的分类和诊断.