使用特定领域的大型语言模型对LI-RADS v2018自由文本MRI报告的分类:一个可行性研究

科学领域:

• 放射学中的人工智能
• 医疗信息学 医疗信息学
• 机器学习用于医学成像

背景情况:

• 肝脏成像报告和数据系统 (LI-RADS) 的分类对于诊断肝脏病变至关重要.
• 从MRI报告中手动分类肝脏观察是耗时的,容易变化.
• 大型语言模型 (LLM) 显示了自动化医疗文本分析的潜力.

研究的目的:

• 为LI-RADS v2018开发和评估一个特定领域的LLM,从自由文本MRI报告中对肝脏观察进行分类.
• 评估与人类专家和模拟临床工作流程相比,LLM的表现.
• 确定LLM集成对数据策划效率和放射科医生工作量的影响.

主要方法:

• 从MRI报告中对291个肝脏观察进行了回顾性研究.
• 一个基于GPT-4的LLM (LiverAI) 被训练并验证为LI-RADS v2018分类.
• 该LLM的表现与共识基础真理进行了比较,并在人体替代和分拣场景中进行了评估.

主要成果:

• 该LLM取得了对LI-RADS分类 (κ=0.54) 和二分化恶性瘤 (κ=0.58) 的基本真相的中度一致.
• 作为一个分类工具,LLM显著改善了LI-RADS分类协议 (κ=0.76-0.87) 并减少了45%的工作量.
• 与个人读者相比,LLM辅助的策略提高了数据策划效率高达60%,而没有显著的性能损失.

结论:

• 从自由文本MRI报告进行LI-RADS v2018分类是可行的,使用特定领域的LLM.
• 将LLM整合到临床工作流程中可以提高数据策划效率,并大大减少放射科医生的工作量.
• 这一概念验证证明了LLMs在优化放射学研究数据管理方面的潜力.