使用深度学习和微调的大型语言模型集体改进实体识别:从VAERS和社交媒体提取不良事件的案例研究

科学领域:

• 在生物医学信息学中使用自然语言处理 (NLP).
• 药物监测和药物安全监测
• 机器学习用于医疗保健数据分析数据分析

背景情况:

• 从文本数据中提取不良事件 (AE) 对COVID-19疫苗安全监测至关重要.
• 传统的深度学习模型需要大量的标记数据,而大型语言模型 (LLM) 提供上下文理解,但在命名实体识别 (NER) 中表现不稳定.
• 评估和结合这些模型可以提高AE提取精度.

研究的目的:

• 评估LLM和传统深度学习模型的有效性,以从疫苗相关文本中提取AE.
• 评估组合这些模型对用于识别疫苗,注射和AE实体的性能的影响.
• 为了提高不良事件提取的准确性,以改善药物监测.

主要方法:

• 利用了来自疫苗不良事件报告系统 (VAERS),Twitter和Reddit的公司.
• 探索并微调了各种LLM (GPT-2,GPT-3.5,GPT-4,Llama-2) 和传统模型 (RNN,BioBERT).
• 创建了表现出色的模特组合,并使用严格和放松的F1分数进行评估.

主要成果:

• 组合模型在实体提取中实现了最高的性能.
• 对于"疫苗"",射击"和"AE"的严格F1分数分别为0.878,0.930和0.925.
• 微平均F1得分达到0.903,通过组合和微调显著提高了性能.

结论:

• 将微调的传统深度学习模型和LLM结合在一起,对于AE提取COVID-19疫苗接种后的疫苗是有效和强大的.
• 这种方法在生物医学领域推进了NLP,改善了AE提取用于药物监测和公共卫生监测.
• 针对特定任务的微调模型和采用集体方法对于提高AE提取性能至关重要.