用指令调整的大型语言模型来提取临床数据:从CT放射学报告创建大动脉测量数据库

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 放射学 信息学 信息学

背景情况:

• 胸部计算机断层扫描 (CT) 报告包含重要的大动脉测量,但它们通常是无结构的.
• 这些测量的可访问性有限,阻碍了临床决策和对大动脉疾病的研究.
• 结构化数据提取可以改善患者护理,并促进人口研究.

研究的目的:

• 为了比较大型语言模型 (LLM) 与从胸部CT报告中提取大动脉直径的传统模型的性能.
• 评估指令调整,少数拍摄和零拍摄的拉玛模型与微调的BERT模型相比.
• 评估使用LLM用于高保真度医疗信息提取的可行性.

主要方法:

• 使用了356690份胸部CT报告 (2013-2023) 的数据集.
• 2010年报告的一个子集在八个解剖部位手动注释了大动脉直径.
• 调整指令,少量射击和零射击的Llama 3.1模型与微调的临床BERT模型进行了比较.

主要成果:

• 调整为指令的Llama 3.1模型获得了最高的性能,测试组F1得分为0.970.
• 这种模型的性能优于少数射击 (F1=0.838),零射击 (F1=0.663) 拉玛模型和临床BERT (F1=0.954).
• 该指令调整模型在整个数据集的13.85%中确定了大动脉测量.

结论:

• 调整指令的LLM能够从无结构的放射学报告中高准确地提取大动脉测量,并提供最小的注释.
• 这种方法显著提高了临床决策和研究关键数据的可访问性.
• 开发的框架可以适应各种医疗信息提取任务.