对癌症遗传变异分类的大型语言模型GPT-4o, llama 3.1和qwen 2.5进行基准测试

科学领域:

• 基因组学就是基因组学.
• 计算生物学 计算生物学
• 精确瘤学 精确瘤学

背景情况:

• 根据临床可行性对癌症遗传变异进行分类对于个性化癌症治疗至关重要.
• 大型语言模型 (LLM) 为这个分类挑战提供了一种新的方法,但它们的有效性需要彻底评估.

研究的目的:

• 评估领先的LLM (GPT-4o,Llama 3.1,Qwen 2.5) 在分类癌症遗传变异方面的表现.
• 将LLM准确度与已建立的数据库 (OncoKB,CIViC) 和现实世界的临床数据进行比较.
• 调查快速工程和检索增强生成 (RAG) 对LLM绩效的影响.

主要方法:

• 在变种分类任务上评估了GPT-4o,Llama 3.1和Qwen 2.5.
• 使用OncoKB,CIViC数据库和FoundationOne CDx报告来创建数据集.
• 执行提示工程和RAG以优化LLM性能.
• 在100次代中进行稳定性分析.

主要成果:

• 在分类临床相关变异与未知意义的变异 (VUS) 中,GPT-4o表现出更高的准确性 (0.7318).
• 在强烈支持的变体中,LLM与专家注释的一致性更高,在较弱的证据中变异性增加.
• 在所有模型中都观察到过度分类 (赋予更高的证据水平) 的趋势.
• 快速工程和RAG显著提高了分类准确性和一致性.

结论:

• LLM,特别是GPT-4o,显示了自动化癌症遗传变异分类的巨大潜力.
• 需要进一步细化以提高准确性,减少过度分类偏差,并确保一致的临床适用性.
• 该研究强调,需要在精密瘤学工作流程中对LLM进行强有力的验证和优化策略.