探索指令调整在生物医学语言处理中的有效性
Omid Rohanian1, Mohammadmahdi Nouriborji2, Samaneh Kouchaki3
1Department of Engineering Science, University of Oxford, Oxford, UK; NLPie Research, Oxford, UK.
Artificial intelligence in medicine
|November 14, 2024
概括
指令调整增强生物医学自然语言处理 (NLP) 任务的大型语言模型 (LLM),如命名实体识别. 这项研究使用大型,精心策划的指令数据集,证明了与专业模型的竞争性表现.
科学领域:
- 生物医学信息学 生物医学信息学
- 自然语言处理自然语言处理.
- 人工智能的人工智能
背景情况:
- 大型语言模型 (LLM) 在一般语言任务中表现有前途,但在生物医学应用中需要特定领域的调整.
- 现有的LLM需要优化,用于专门的下游任务,如命名实体识别 (NER),关系提取 (RE) 和医学自然语言推理 (NLI).
研究的目的:
- 调查指令调整对改善生物医学NLP任务LLM性能的有效性.
- 开发和评估一个使用生物医学应用的大型定制数据集调整指令的LLM.
主要方法:
- 应用指令调整到两个大规模的一般LLMs.
- 开发了一个基于指令的综合数据集,大约有20万个样本,从现有数据中策划.
- 评估模型在经典生物医学NLP任务上的表现.
主要成果:
- 在生物医学NLP任务中,指令调整的LLM实现了与专门的仅编码器模型 (例如BioBERT,BioClinicalBERT) 相比的性能.
- 分析提供了对数据集组成及其对模型性能影响的见解.
结论:
- 指令调是一种可行的策略,可以提高LLM在专门的生物医学NLP领域的能力.
- 开发的数据集和模型为推进生物医学NLP研究提供了宝贵的资源.
相关概念视频
02:07Improving Translational Accuracy
2.5K
2.5K
01:27Language and Cognition
325
Language serves as a bridge between ideas and communication, influencing how individuals perceive and interact with the world. Psychologists have long debated whether language shapes thought or vice versa. This discussion gained grip with Edward Sapir and Benjamin Lee Whorf in the 1940s, who proposed that language determines thought, a concept known as linguistic determinism. They suggested that the vocabulary and structure of a language influence how its speakers think and perceive reality.
325