对于生物医学关系的提取,特定领域的语言模型预培训和教学微调有多重要?

科学领域:

• 生物医学自然语言处理 (NLP)
• 机器学习
• 计算语言学

背景情况:

• 一般NLP的进步,包括生成语言模型 (LMs),指令微调和少数射击学习,越来越多地应用于生物医学领域.
• 针对生物医学任务开发了特定领域的LM和微调方法,旨在通过专门的培训数据提高性能.

研究的目的:

• 研究生物医学领域语言模型与一般领域模型在关系提取任务中的有效性.
• 评估生物医学指令微调与一般指令微调对生物医学NLP任务模型性能的影响.

主要方法:

• 在一般和生物医疗机构中使用现有的语言模型.
• 在四个不同的生物医学关系提取数据集中测试模型.
• 将特定领域的LM与一般LM的性能进行比较,并评估指令微调对各种数据集的影响.

主要成果:

• 一般领域的语言模型在关系提取任务中始终表现优于生物医学领域的模型.
• 生物医学指令微调显著提高了模型性能,取得了与一般指令微调相当的结果.
• 尽管使用的指令比一般的微调数据集少得多,但从生物医学指令微调中观察到性能增长.

结论:

• 结果表明,开发大规模的,特定领域的生物医学LM可能比专注于对生物医学NLP的一般LM进行细微调整的广泛指导更有效.
• 未来的研究应该优先考虑大规模的生物医学指导,对一般的LM进行微调,以提高下游任务的性能,例如关系提取.