应用大型语言模型用于使用标准化标准对放射学要求的自动质量评分
Raşit Eren Büyüktoka1, Murat Surucu2, Pelin Berfin Erekli Derinkaya3
1Department of Radiology, Izmir Foça State Hospital, Izmir, Türkiye. rasiterenbuyuktoka@hotmail.com.
European radiology
|August 20, 2025
概括
一个本地适应的大型语言模型 (LLM) 准确地使用RI-RADS标准对放射学要求进行评分. 这种人工智能工具与放射科医生达成了高度一致,改善了放射学工作流程和沟通.
科学领域:
- 放射学中的人工智能
- 用于医疗文件的自然语言处理.
- 放射学信息系统 放射学信息系统
背景情况:
- 不完整或非标准化的放射学要求在临床实践中带来了挑战.
- 需要自动评分系统来提高放射学工作流程的效率和准确性.
- 大型语言模型 (LLM) 提供了处理和解释复杂医疗文本的潜力.
研究的目的:
- 开发和验证一个本地适应的LLM用于放射学要求的自动评分.
- 根据成像报告和数据系统 (RI-RADS) 标准评估模型的性能.
- 为了评估LLM的协议与专家放射科医生评估.
主要方法:
- 一项回顾性研究利用了来自两个机构的131,683个放射学要求.
- 一个基于BERT的LLM在101,563个要求中接受了培训,并在18,887个要求中进行了外部测试.
- 使用科恩的卡帕,准确性,F1得分,灵敏度和特异性对照放射科医生创建的参考标准来评估性能.
主要成果:
- 该LLM取得了高的外部测试F1得分0.93和科恩的卡帕0.88.8的高.
- 常见RI-RADS类别 (D,X) 的表现最强,罕见类别 (A,B) 的表现较弱.
- 将其分为三个类别 (充足,不充足,不可接受) 提高了整体表现,F1得分为0.97.
结论:
- 一个本地适应的基于BERT的LLM显示了高精度和近乎完美的协议与放射科医生自动RI-RADS评分.
- 该模型显示了将其整合到放射学工作流程中的重大前景,以提高要求的完整性和部门间的沟通.
- LLM提供了一个可扩展的解决方案,以改善放射学实践,可能导致更好的诊断和患者护理.
