对比了七个微调的开源大语言模型在总结和预测来自急性缺血性中风患者机械血栓切除报告的相关信息的性能
Semil Eminovic1, Maximilian Lindholz2,3, Andrea Dell'Orco4
1Department of Radiology, Charité - Universitätsmedizin Berlin, Humboldt-Universität zu Berlin, Freie Universität Berlin, Berlin Institute of Health, Berlin, Germany. semil.eminovic@charite.de.
European radiology
|November 17, 2025
概括
精心调整的大型语言模型 (LLM) 可以总结机械血栓切除报告,并以中等准确度预测再注射结果. 将这些LLM整合到放射学工作流程中可能会提高效率和患者护理.
科学领域:
- 人工智能在医学中的应用
- 在医疗保健中的自然语言处理.
- 放射学 信息学 信息学
背景情况:
- 机械血栓切除术是急性缺血性中风的关键治疗方法.
- 准确总结术后放射学报告对于患者管理至关重要.
- 从报告中预测再注射结果有助于临床决策.
研究的目的:
- 评估七个开源大型语言模型 (LLM) 用于总结机械血栓切除术放射学报告.
- 评估LLMs能够预测基于血管造影的结果措施的能力,特别是再输血.
- 在临床放射学背景下比较微调的LLM的定量和质量性能.
主要方法:
- 使用了2000份机械血栓切除报告,其中1900份用于微调,100份用于测试LLMs.
- 在量化评估中使用了ROUGE,METEOR,BERTScore和BLEU指标.
- 放射科医生的定性评估评估了关键参数中的正确性,完整性和幻觉.
主要成果:
- 在大多数定量总结指标中,BioMistral-7b表现出色.
- 杰玛-2-9b和米斯特拉-7b-instruct在记录和正确报告程序通过数量方面表现不同.
- 所有评估的LLM在预测脑内血栓溶解缺血症 (TICI) 评分方面都表现出适度的准确性 (66-71%).
结论:
- 精心调整的LLM可以有效地总结血栓切除术报告,并适度预测TICI分数.
- 将这些LLM集成到放射学工作流中显示出提高效率的潜力.
- 建议进一步进行临床验证,以优化LLM在中风护理中的应用.
