从PET/CT报告中使用LLM驱动的乳腺癌分期:一项比较性绩效研究

科学领域:

• 在瘤学中使用人工智能
• 用于医疗报告的自然语言处理 (NLP)
• 乳腺癌的分期和分类

背景情况:

• 准确的瘤结节转移 (TNM) 分类对于乳腺癌管理至关重要,影响治疗和预后.
• 目前的分期依赖于解释成像报告,这可能耗时且容易变化.
• 大型语言模型 (LLM) 提供了一个机会,可以自动化和标准化从临床报告中提取TNM分期.

研究的目的:

• 评估四个LLM (ChatGPT-4o,DeepSeek V3,Claude 3.5 Sonnet,Gemini 2.0 Flash) 在从PET/CT报告中提取TNM分期的性能.
• 评估LLM衍生的TNM分类和UICC阶段与专家生成的基准的准确性.
• 探索LLMs在提高乳腺癌护理中瘤工作流程的准确性和效率方面的潜力.

主要方法:

• 一个数据集由111个虚构的乳腺癌PET/CT报告组成.
• 四名高级LLM的任务是根据既定的准则确定TNM阶段和UICC阶段.
• 模型输出被系统地与专家定义的TNM和UICC阶段分类进行了比较.

主要成果:

• 克劳德3.5索内特在所有指标上取得了卓越的表现,在T,N和M分类中展示了高F1分数.
• 克劳德3.5索内特在UICC阶段分类中获得了0.92%的F1分数.
• 该研究表明,LLM具有很强的潜力,可以从成像报告中准确执行TNM分期.

结论:

• 先进的NLP,特别是像Claude 3.5 Sonnet这样的LLM,可以可靠地支持癌症分期过程.
• 基于LLM的系统在提高瘤工作流程的准确性和帮助临床决策方面表现有前途.
• 通过前性临床试验和各种设置进行进一步验证是必要的,以证实这些发现,并促进AI在乳腺癌管理中的采用.