机器学习模型的开发和评估,用于从临床笔记中检测急诊室的阿片类药物滥用患者

科学领域:

• 自然语言处理 (NLP) 是一种自然语言处理.
• 机器学习 (ML) 是指机器学习.
• 医疗信息学 医疗信息学

背景情况:

• 准确识别涉及阿片类药物滥用的急诊部 (ED) 遭遇对于公共卫生至关重要.
• 现有的方法,如ICD-10-CM代码在精确检测方面存在局限性.
• 开发先进的计算模型是改善监测和干预的必要条件.

研究的目的:

• 开发和评估基于自然语言处理 (NLP) 的模型,用于检测ED遭遇的阿片类药物滥用.
• 将不同NLP和ML模型的性能与传统诊断代码进行比较.
• 评估文本转换和域调整对模型性能的影响.

主要方法:

• 对阿片类药物滥用的ED遭遇的手动注释.
• 使用经典的ML方法 (XGBoost,逻辑回归,SVM,决策树) 提取和评估临床笔记.
• 精细调整预先训练的语言模型,包括适应领域的SMART-AI模型.
• 将模型性能与ICD-10-CM代码进行比较,使用AU_PRC,精度和F1得分等指标.

主要成果:

• XGBoost 实现了高性能 (AU_PRC 0.936,准确度 0.887,F1 0.863),超过了 ICD-10-CM 代码 (准确度 0.870,F1 0.830).
• 精心调整的预先训练的语言模型通常优于经典的ML方法.
• 最好的性能是通过微调的SMART-AI模型与域调整 (AU_PRC 0.948,精度 0.882,F1 0.851) 实现的.
• 关键的预测术语包括"海洛因"",阿片类药物"",可卡因"和"苏博".

结论:

• 基于NLP的模型显著优于ICD-10-CM代码,用于识别ED环境中的阿片类药物滥用.
• 微调预先训练的语言模型与域调整,提高了检测准确度.
• 这些先进的NLP方法为阿片类药物滥用监测和研究提供了更有效的工具.