从使用自然语言处理的临床笔记中自动提取烯胺治疗和与治疗相关的毒性

科学领域:

• 在瘤学瘤学.
• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.

背景情况:

• 甲胺在治疗结肠直肠癌和乳腺癌方面至关重要,但会导致严重的毒性,如手脚综合征和心脏毒性.
• 鉴定这些与治疗相关的毒性是具有挑战性的,因为文档通常在临床笔记中没有结构.

研究的目的:

• 开发和评估自然语言处理 (NLP) 方法,从电子健康记录中提取胺治疗方案和相关的毒性.
• 为了比较各种NLP方法的性能,包括基于规则的,机器学习,深度学习和大型语言模型 (LLM).

主要方法:

• 从204,165名成年瘤患者的236份临床笔记创建了一个黄金标准数据集.
• 开发和评估了多种NLP模型:基于规则的,随机森林 (RF),支持向量机 (SVM),物流回归 (LR),BERT,临床BERT和LLM (零射击和错误分析提示).
• 模型性能使用5倍交叉验证进行评估,重点关注精度,回忆和治疗和毒性提取的F1分数.

主要成果:

• 基于LLM的错误分析提示实现了治疗 (F1=1.000) 和毒性提取 (F1=0.965) 的最高性能.
• 基于规则的方法也表现出强的表现 (F1=1000治疗,F1=0.904毒性).
• 机器学习模型 (LR,SVM) 在毒性提取方面表现良好,而深度学习模型 (BERT,ClinicalBERT) 和射频模型表现较差,可能是由于训练数据有限.

结论:

• 基于LLM的错误分析在从临床笔记中提取关键治疗和毒性信息方面表现出卓越的有效性.
• 这种方法对推进瘤学研究,提高患者安全和加强药物监督工作具有重大潜力.
• 传统的机器学习和深度学习方法在一般化方面遇到了局限性,特别是对于罕见的毒性类别,这强调了LLM在这个领域的优势.