机器学习模型的大规模评估在放射学报告中识别后续建议

科学领域:

• 放射学和医学信息学
• 医疗保健中的人工智能
• 自然语言处理 (Natural Language Processing) 是一种自然语言处理.

背景情况:

• 放射学报告包含关键的随访建议,用于患者护理和降低风险.
• 目前在各种报告和模式中识别这些建议的方法有限.
• 开源大型语言模型 (LLM) 提供了自动推识别的潜力.

研究的目的:

• 评估机器学习 (ML) 模型,包括LLAMA3和GPT-4,用于识别放射学报告中的后续建议.
• 为了比较各种文本分类方法在放射学报告的不同部分的性能.
• 评估ML模型在外部和时间数据集上的概括能力.

主要方法:

• 追溯分析了49769份来自多种成像方式和注释方法的放射学报告.
• 评估了32种关于"发现"和"印象"部分的文本分类方法.
• 使用MIMIC-CXR数据库和机构CT报告测试模型概括.

主要成果:

• 一个混合生成-歧视模型 (Hybrid-google) 在"发现"部分获得了最高的F1分 (0.835分).
• 一个基于注意力的双向LSTM (AttBiLSTM-random) 在"印象"部分获得了最高的F1分数 (0.979分).
• 带有前提示的GPT-4显示出强烈的泛化,F1得分为0.969 (MIMIC-CXR) 和0.973 (机构CT).

结论:

• ML模型显示了在放射学报告中对随访建议的分类自动化的巨大潜力.
• 不同的ML架构在识别不同报告部分的建议方面表现出色.
• 像GPT-4这样的先进模型为外部和时间数据概括提供了强大的性能.