现成的大型语言模型用于检测和分类放射学报告中的关键发现,使用各种快速策略
Ish A Talati1, Juan M Zambrano Chaves2, Avisha Das3
1Department of Radiology, Stanford University, 300 Pasteur Dr, Palo Alto, CA 94304.
AJR. American journal of roentgenology
|September 10, 2025
概括
大型语言模型 (LLM) 可以检测放射学报告中的关键发现. 通过使用GPT-4进行几次静态方法,证明了识别真正关键发现的最佳性能.
科学领域:
- 放射学中的人工智能
- 在医疗保健中的自然语言处理.
背景情况:
- 放射学报告的复杂性和数量越来越大,挑战了及时的关键发现沟通.
- 需要有效的方法来有效地从放射学报告中提取关键信息.
研究的目的:
- 评估两种大型语言模型 (LLM),GPT-4和Mistral-7B在检测和分类放射学报告中的关键发现方面的性能.
- 为了比较基于LLM的放射学报告分析的各种快速策略的有效性.
主要方法:
- 分析了来自MIMIC-III的252份放射学报告和来自CheXpert Plus的180份胸部放射学报告.
- 进行了提示工程,并为零拍摄,少数拍摄静态和少数拍摄动态提示选择了最后一个提示.
- GPT-4和Mistral-7B处理的测试集,使用自动化指标 (BLEU-1,ROUGE-F1,G-Eval) 和手动指标 (精度,回忆) 进行评估.
主要成果:
- 通过使用GPT-4进行几次射击静态提示,实现了真正关键发现的最高ROUGE-F1得分 (0.797).
- 与米斯特拉-7B相比,GPT-4在所有关键发现类别的持久和外部测试集中表现出更高的精度和回忆力.
- 在持久测试组中,GPT-4在真实关键发现方面实现了90.1%的精度和86.9%的回忆.
结论:
- 现成的LLM可以有效地检测和分类放射学报告中的关键发现.
- 一个短暂的静态提示策略是使用LLMs检测真正关键发现的最佳方法.
- 一般用途的LLM在适应专业医疗任务时显示出有前途的潜力,数据注释最小.
