高性能促使LLM从放射学报告中提取压缩骨折的发现
Mohammed M Kanani1, Arezu Monawer2, Lauryn Brown2
1School of Medicine, University of Washington, Seattle, WA, USA. mkanani@uw.edu.
Journal of imaging informatics in medicine
|May 16, 2025
概括
这项研究表明,大型语言模型 (LLM) 可以自动从放射学报告中提取脊柱压缩骨折. 使用Llama 3.1的基于提示的策略在没有模型训练的情况下实现了高精度.
科学领域:
- 放射学 信息学 信息学
- 医学中的自然语言处理.
- 医疗保健中的人工智能
背景情况:
- 从放射学报告中手动提取脊柱压缩骨折是耗时且容易出现错误的.
- 大型语言模型 (LLM) 显示了自动化这一过程的潜力,但微调可能是资源密集的.
- 基于提示的策略为优化LLM绩效提供了一个不那么苛刻的替代方案.
研究的目的:
- 开创Meta的Llama 3.1的使用,使用基于提示的策略来自动提取脊柱压缩骨折.
- 评估不同LLM和提示配置的性能,而不需要模型培训.
- 从自由文本放射学报告生成结构化数据,以改善临床工作流程.
主要方法:
- 在637份匿名的脊柱CT报告中测试了Meta的Llama 3.1 (70B和8B) 和Vicuna 13B模型.
- 采用了九种不同的提示配置,包括放射科医生撰写的背景和LLM生成的背景,有或没有几次拍摄的例子.
- 将模型性能与使用F1分数,ROC-AUC和PR-AUC手动生成的地面真相注释进行了比较.
主要成果:
- 拉玛3.1 70B型号获得了最高的F1得分0.91,其背景由放射科医生撰写.
- 当背景由另一个LLM生成时,观察到类似的高性能 (F1得分0.86).
- 基于提示的策略显示了可比的ROC-AUC和PR-AUC性能,突出了在没有广泛的培训数据的情况下的有效性.
结论:
- 开放式重量LLM,特别是Llama 3.1,可以有效地利用基于提示的技术从自由文本放射学报告中提取脊柱压缩骨折的发现.
- 这种方法消除了对资源密集型模型培训和手动标签的需求.
- 自动提取促进了基于证据的护理,并加强了放射学工作流程.
