在生物医学自然语言处理中研究跨域二进制关系分类

科学领域:

• 生物医学自然语言处理 (NLP)
• 计算生物学 计算生物学
• 医疗信息学 医疗信息学

背景情况:

• 二元关系分类对于从生物医学文本中提取知识至关重要.
• 现有的方法与基因疾病和健康的社会决定因素 (SDOH) 等不同领域进行斗争.
• 在低数据场景中评估基于变压器的模型是必不可少的.

研究的目的:

• 评估微调的变压器 (BERT) 双向编码器表示和生成的大型语言模型 (LLM) 的性能,用于生物医学关系分类.
• 在零射击和少数射击的学习环境中调查模型的能力.
• 为社会和临床实体关系提取引入一个新的注释数据集.

主要方法:

• 微调特定领域的BERT模型.
• 评估生成型大语言模型 (LLM).
• 在零射击和少数射击场景中使用新的生物医学数据集进行绩效评估.

主要成果:

• 伯特模型,特别是对特定领域数据进行微调时,在各种生物医学关系分类任务中表现出强的表现.
• 在某些领域,生成的LLM显示了与BERT相比的性能和通用化能力.
• 这两种模型类型仍然不足以达到人类水平的性能,突出显示了任务的复杂性.

结论:

• 特定领域的微调显著影响生物医学NLP中基于变压器模型的性能.
• 虽然LLM具有前景,但专门的BERT模型在关系分类方面仍然具有竞争力.
• 高质量的注释数据和领域专业知识对于推动生物医学NLP研究至关重要.