一个大型语言模型在分类分支-导管内导管的乳头粘膜性瘤中的有效性

科学领域:

• 医学成像分析 医学成像分析
• 放射学中的人工智能
• 胃肠道瘤学 胃肠道瘤学

背景情况:

• 使用磁共振成像 (MRI) 准确分类导管内 papillary 粘膜瘤 (IPMNs) 对于患者的管理至关重要.
• 分支导管IPMN (BD-IPMN) 需要精确的分类来指导临床决策.
• 当前的诊断工作流程依赖于人类的解释,这可能是耗时的,并且取决于经验水平.

研究的目的:

• 开发和评估一个大型语言模型 (LLM) 用于根据MRI发现对BD-IPMN进行分类.
• 将LLM的诊断性能和效率与不同经验水平的人类读者进行比较.
• 为了评估LLM的准确性,敏感性和处理时间在分类BD-IPMNs.

主要方法:

• 一组BD-IPMNs的MRI报告被追溯收集并分为培训,验证和测试数据集.
• 一个大型语言模型在训练数据上进行了微调,并使用验证集进行了优化.
• 在测试数据集上评估了微调的LLM的性能,并与三个人类读者 (两名住院生,一名实习生) 进行了准确性,灵敏性和时间方面的比较.

主要成果:

• 精心调整的LLM获得了0.966的准确度,与经验丰富的居民 (0.931-0.972) 相当,并且优于实习生 (0.907).
• 与内部 (0.944) 相比,LLM显示接收器运行特征曲线 (0.982) 下的面积显著更大,用于对囊直径≥10毫米的分类.
• 该LLM在25秒内处理了测试数据集,大大超过了需要1,887-2,646秒的人类读者.

结论:

• 精心调整的LLM在将BD-IPMNs从MRI发现中分类方面展示了与放射学住院医生的可比的诊断性能.
• 该LLM显著减少了对BD-IPMN进行分类所需的时间,从而大大提高了效率.
• 人工智能驱动的LLM显示出有前途,作为有价值的工具来协助放射科医生管理IPMNs.