用于生物医学命名实体识别的大型语言模型的资源效率指令调整
Hui Liu1, Ziyi Chen2, Peilin Li3
1School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China, No. 96, JinZhai Road Baohe District, Hefei, 230026, Anhui, China; Suzhou Institute for Advanced Research, University of Science and Technology of China, No. 166, Renai Road, Suzhou, 215123, Jiangsu, China; Department of Precision Machinery and Precision Instruments, University of Science and Technology of China, No. 96, JinZhai Road Baohe District, Hefei, 230026, Anhui, China.
参数有效微调 (PEFT) 优化了大型语言模型 (LLM) 用于更少的资源进行生物医学命名实体识别 (BioNER). 由此产生的NERLlama3.1模型实现了高性能和强大的通用化,性能优于完全微调的模型.
科学领域:
- 生物医学自然语言处理
- 人工智能
- 计算语言学
背景情况:
- 大型语言模型 (LLM) 显示生物医学命名实体识别 (BioNER) 的前景.
- 微调BioNER的LLM需要大量的计算资源,限制了可访问性.
- 参数效率微调 (PEFT) 为资源有限的环境提供了解决方案.
研究的目的:
- 在有限的计算条件下研究PEFT技术,以优化BioNER中的LLM.
- 保持具有竞争力的模型性能和域内概括能力.
- 探索微调的LLM的多任务能力.
主要方法:
- 使用QLoRA,一种PEFT方法,为BioNER微调Llama3.1模型,创建NERLlama3.1.
- 使用现有的BioNER数据集 (NCBI-disease,BC5CDR-chem,BC2GM-gene) 开发了一个LLM指令调节数据集.
- 在单个16GB的GPU上微调Llama3.1-8B,并在推断过程中加入了自一致性NER提示 (SCNP).
主要成果:
- NERLlama3.1获得了高的F1分数:0.8977 (NCBI-疾病),0.9402 (BC5CDR-化学),0.8530 (BC2GM-基因).
- 在未见的数据集上表现出强烈的泛化 (例如,NLM基因上的0.8378).
- 在BioNER任务中表现优于完全微调的LLM和BERT基础,显示出优异的域内概括性.
结论:
- 使用PEFT,NERLlama3.1实现了高BioNER性能,计算要求显著降低.
- 与传统的预训练模型相比,该模型具有优越的域内概括性.
- 低资源需求,高性能和强大的泛化使得NERLlama3.1适用于各种临床BioNER应用.
相关概念视频
Improving Translational Accuracy
Mechanistic Models: Compartment Models in Algorithms for Numerical Problem Solving
In individual population analyses, different algorithms are employed, such as Cauchy's method, which uses a...
Leaky Scanning
Genetic Lingo
Nonsense-mediated mRNA Decay
Usually, Upf3 binds to an Exon Junction Complex (EJC) at mRNA splice sites. If a ribosome fully translates the mRNA,...


