从[¹⁸F]氧糖PET-CT放射学报告中提取基于开放的LLM可采取行动的偶然发现

科学领域:

• 医学成像分析 医学成像分析
• 医疗保健中的人工智能
• 自然语言处理自然语言处理.

背景情况:

• [18F]氧葡萄糖正子发射断层扫描-计算机断层扫描 ([18F]FDG PET-CT) 报告经常包含可采取行动的偶然发现 (AIF),影响患者管理.
• 从这些报告中自动提取AIF对于及时的临床干预至关重要.
• 目前用于AIF识别的方法往往是手动的,耗时的.

研究的目的:

• 开发和评估一个开放的,基于大型语言模型 (LLM) 的管道,用于从[18F]FDG PET-CT报告中提取AIF.
• 通过使用结构化AIF数据,使短期临床应用 (例如警报) 和长期研究成为可能.
• 在内部和外部数据集上评估LLM管道的性能.

主要方法:

• 通过使用与QLoRA和思维链 (CoT) 微调的LLM在注释的[18F]FDG PET-CT报告中创建了一个管道.
• 该管道对AIF的报告进行分类,提取相关句子,并以JSON格式存储结果.
• 用内部和外部测试数据集的F1分数来评估性能,并进行定量和定性分析.

主要成果:

• 管道实现了高文档级F1分数 (0.917在内部,0.79在外部测试数据集).
• 句子级F1分数为0.754 (内部) 和0.522 (外部),定性分析表明实际实用性超过定量分数.
• 拉玛-3.1-8B指令,适应了QLoRA和CoT提示,证明了最佳的性能和效率.

结论:

• 适应QLoRA的LLM与CoT提示可以可靠地从PET-CT报告中提取AIF信息.
• 开发的管道为临床决策支持提供了重大潜力,包括警报和提醒.
• 该模型在提取AIF方面的有效性可以帮助管理患者的并发症和改善医疗保健结果.