在分子瘤板中对自动试验匹配工具的前性实用性评估

科学领域:

• 在瘤学瘤学.
• 医疗信息学 医疗信息学
• 临床试验管理 临床试验管理

背景情况:

• 公共可用的临床试验匹配工具旨在提高患者获得新疗法的机会.
• 然而,这些工具中的不准确性可能会导致患者失望和过度要求.

研究的目的:

• 在现实环境中评估四个临床试验匹配工具的性能.
• 评估大型语言模型 (LLM) 的潜力,以提高试验匹配的准确性.

主要方法:

• 一项务实,非干预的前性研究,涉及157名分子瘤委员会患者.
• 在19个选的临床试验中,分析了四个选定的临床试验匹配工具 (Klineo, ScreenAct, Trialing, DigitalECMT).
• 使用精度,回忆,AP@3和NDCG@3.3等指标评估工具性能.

主要成果:

• 平均而言,每位患者提出了2.19项试验,其中38%没有收到任何建议.
• 平均性能指标包括精度=0.33,回忆=0.32,AP@3=0.45,以及NDCG@3=0.34.
• 使用多种工具增加了26%的试验选择;一个常见的错误涉及基因变异标准.
• 对分子报告的LLM应用显示了高达5%的潜在性能改善.

结论:

• 目前的临床试验匹配工具存在局限性,特别是在基因变异匹配方面.
• 结合多种工具和整合LLMs显示了增强试验识别的希望.
• 对试验匹配结果的专家监督至关重要,除了开发改进技术外.