转移性与局部性疾病作为包含标准,可以自动从使用自然语言处理的随机对照试验中提取

科学领域:

• 在瘤学瘤学.
• 医疗信息学 医疗信息学
• 计算生物学 计算生物学

背景情况:

• 在瘤学中,从随机对照试验 (RCT) 中自动提取纳入/排除标准对于增强搜索功能和系统审查至关重要.
• 根据患者疾病状况 (局部化与转移性) 分类试验可以显著缩小搜索结果.

研究的目的:

• 评估基于将局部和/或转移性疾病患者纳入的癌症试验自动分类的可行性.
• 在这个分类任务中比较基于规则的系统,机器学习模型和大型语言模型 (LLM) 的性能.

主要方法:

• 来自高影响力期刊的600个瘤学RCT的数据集.
• 500个试验被用于模型开发和验证,其中100个被保留用于测试.
• 开发了三个模型:基于规则的系统,基于变压器的机器学习 (ML) 模型和GPT-4o.

主要成果:

• ML模型实现了高F1得分 (0.97局部,0.88转移性疾病).
• 基于规则和ML的结合方法进一步提高了性能 (分别为0.97和0.89).
• GPT-4o表现出强的表现 (分别为0.87和0.92),突出了LLMs的潜力.

结论:

• 癌症试验标准的疾病状况的自动分类是可以实现的.
• 将试验标准提取作为分类问题可以增强基于证据的医学中的文本挖掘.
• 对此类任务来说,LLM提供了一个强大的,虽然计算密集的替代方案,可能减少对特定任务培训的需求.