多标签文档语言模型 探索性腹腔切除术手术概念的分类 操作笔记:算法开发研究

科学领域:

• 自然语言处理 (NLP) 是一种自然语言处理.
• 医疗保健中的机器学习
• 手术数据科学手术数据科学

背景情况:

• 操作笔记对于临床护理,研究和计费至关重要,但手动提取数据是耗时的.
• 传统的NLP方法,如词袋 (BoW) 和tf-idf,对复杂的手术笔记分析有局限性.
• 大型语言模型 (LLM) 在增强或取代手术文本挖掘的传统NLP方面表现有前途.

研究的目的:

• 开发和评估LLMs以加快从外科手术手术笔记中提取数据.
• 将LLM与传统NLP技术的性能进行比较,以对外科概念进行多标签分类.
• 评估不同LLM架构的实用性以及背景对分类准确性的影响.

主要方法:

• 一个数据集由388个探索性腹腔切除术笔记组成,对21个外科概念进行了注释.
• 将传统的BoW和tf-idf模型与仅用编码器 (临床长变压器) 和仅用解码器 (Llama 3) 的变压器模型进行比较.
• 使用5倍交叉验证,F1得分和哈明损失 (HL) 进行评估的多标签分类,有或没有上下文信息.

主要成果:

• 只有解码器的Llama 3模型实现了最高的性能 (微F1得分0.88,HL 0.11),显著超过BoW,tf-idf和临床-longformer.
• 整合上下文使拉玛3的F1分数平均提高了0.16.
• 性能在各个概念中各不相同,在分类污染和处理先前或同时操作等复杂案例方面存在挑战.

结论:

• 现成的自动回归LLM在分类外科手术手术笔记方面表现优于传统的NLP和仅编码器模型.
• 在外科手术中,LLM提供了一种潜在的解决方案,可以简化回顾性审查.
• 需要进一步开发,以解决语义细微差别和边缘情况,以便在研究和质量改进中可靠地应用.