对人类进行大型语言模型性能评估,以总结MRI膝关节放射学报告:可行性研究

科学领域:

• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.
• 放射学 放射学是一门学科.

背景情况:

• 精确的放射学报告总结对于临床决策至关重要.
• 随着患者数据的不断增加,需要高效可靠的自动化总结工具.
• 放射学总结中的不准确性可能会产生重大临床后果.

研究的目的:

• 为了比较各种大型语言模型 (LLM) 方法用于自动放射学报告总结.
• 评估文本到文本传输变压器 (T5) 和双向和自动回归变压器 (BART) 模型与循环神经网络 (RNN) 的性能.
• 评估LLM生成的摘要与原始放射科医生摘要的临床实用性.

主要方法:

• 利用T5和BART模型的微调和零射击学习场景.
• 与循环神经网络 (RNN) 进行LLM性能比较.
• 评估了100个MRI报告摘要,使用专家人类判断对连贯性,相关性,流性和一致性进行评估,基于15,508份膝盖MRI报告的数据集.

主要成果:

• 精心调整的LLM优于RNN,在零射击设置中表现出色.
• 这款T5型号的 Rouge-L 评分为 0.638.
• 放射科医生读者发现T5生成的摘要在流利性和一致性方面与原始报告有约70%的相似性.

结论:

• 自然语言处理 (NLP) 和LLM的进步为改善放射学报告总结提供了显著的潜力.
• 自动总结工具可以为放射科医生提供宝贵的帮助.
• 基于LLM的总结可以简化工作流程,提高放射学报告的效率.