用内部开源大型语言模型自动构建放射学报告
Piotr Woźnicki1, Caroline Laqua2, Ina Fiku2
1Department of Diagnostic and Interventional Radiology, University Hospital Würzburg, Würzburg, Germany. woznicki_p@ukw.de.
European radiology
|October 10, 2024
概括
一个本地托管的大型语言模型 (LLM) 可以自动构建放射学报告,实现与人类读者可比的性能. 这项技术有助于采用结构化的报告,而不会破坏放射科医生的工作流程.
科学领域:
- 放射学 信息学 信息学
- 自然语言处理自然语言处理.
- 人工智能在医学中的应用
背景情况:
- 结构化报告提高了放射学报告的可比性,可读性和详细性.
- 将结构化报告纳入临床工作流程仍然是一个挑战.
- 大型语言模型 (LLM) 提供了从自由文本报告中自动提取数据的潜力.
研究的目的:
- 评估一个本地,保护隐私的LLM,用于自动构建自由文本放射学报告.
- 评估本地托管的LLM在从叙事报告中生成结构化数据方面的表现.
- 为了比较LLM性能与人类读者在结构放射学报告.
主要方法:
- 为本地托管的Llama-2-70B聊天模型开发了一个受控的方法.
- 使用了202个英语 (MIMIC-CXR) 和197个德国胸部X射线报告的回顾性数据集.
- 采用高级放射科医生定义的模板,使用48个问题答案对和贝叶斯推理来评估性能 (马修斯相关系数).
主要成果:
- 该LLM在所有案件中生成了有效的结构化报告.
- 英语报告的平均马修斯相关系数 (MCC) 为0.75,德语报告为0.66.
- 士学位的表现与人类读者相当,在两种语言的实际等价区域 (ROPE) 内的MCC差异.
结论:
- 在本地托管的开源LLM可以自动化自由文本放射学报告的结构,准确度接近人类.
- 士学位的表现显示了不同语言和成像发现的语义理解的差异.
- 自动化报告结构可以促进结构化数据捕获,同时保持放射科医生的工作流程.


