胰腺癌CT报告的自动解剖分类与保护隐私的开放重量大语言模型:一个多中心研究

科学领域:

• 放射学中的人工智能
• 用于医学成像的自然语言处理.
• 瘤学数据提取

背景情况:

• 放射学报告包含用于胰腺管腺癌 (PDAC) 治疗计划的关键信息.
• 从这些报告中提取关键特征和确定切除能力状态对于患者管理至关重要.
• 手动提取是耗时的,容易变化.

研究的目的:

• 评估开放式重量大语言模型 (LLM) 在从PDAC报告中提取放射性特征和NCCN切除状态方面的有效性.
• 为了比较Gemma-2-27b-it和Llama-3-70b-instruct模型在这个任务上的性能.
• 在内部和外部数据集上评估模型性能.

主要方法:

• 使用虚构和真实的PDAC放射学报告开发和验证提示.
• 由两个放射科医生为18个关键特征和切除能力建立了基本真相.
• 评估Gemma-2-27b-it和Llama-3-70b-instruct使用回忆,精度,F1得分,提取精度和切除精度.
• 进行统计分析,包括McNemar的测试和混合效应物流回归.

主要成果:

• 与Gemma-2-27b-it相比,Llama-3-70b-instruct显示出更高的内部验证回忆 (99%与95%) 和提取精度 (98%与97%).
• 这两种模型在内部测试套件上都实现了96%的回忆和提取精度.
• 在外部测试组中,两种模型的回忆率为93%,Gemma的提取精度略高 (95%与93%相比).
• 整体切除精度在Llama (95%) 内部高于Gemma (93%),在Gemma (89%) 外部高于Llama (83%),但在统计学上并不显著.

结论:

• 开放式重量LLM可以准确地提取PDAC的放射性特征,并确定NCCN的切除状态.
• 模型性能在内部数据上强大,但在外部数据集上可能会下降.
• 需要对特定机构进行优化,以最大限度地提高LLM在临床实践中的实用性.