在中医中对大型语言模型的比较分析命名实体识别
Zhichao Zhu1, Qing Zhao1, Jianjiang Li1
1College of Computer Science, Beijing University of Technology, Beijing 100124, China.
Bioengineering (Basel, Switzerland)
|October 25, 2024
概括
大型语言模型 (LLM) 显示了中国生物医学命名实体识别 (BNER) 的潜力. 指令微调显著提高了LLM的性能,微调的模型在现实数据上表现优于传统方法.
科学领域:
- 自然语言处理自然语言处理.
- 生物医学信息学 生物医学信息学
- 人工智能的人工智能
背景情况:
- 大型语言模型 (LLM) 在一般命名实体识别 (NER) 中表现出色.
- 对于中国生物医学命名实体识别 (BNER) 的LLM的有效性尚未得到充分研究.
- 中国的电子医疗记录 (EMR) 为BNER带来了独特的挑战.
研究的目的:
- 在中国BNER上评估典型的LLM (ChatGLM2-6B,GLM-130B,GPT-3.5,GPT-4).
- 通过零射击和少数射击提示来评估LLM绩效.
- 调查指令微调对中国BNER的影响.
主要方法:
- 利用了现实世界的中国EMR和公共数据集 (CCKS2017).
- 使用零射击,少数射击和指令微调方法评估LLM.
- 与任务特定模型 (如BiLSTM+CRF和DGAN) 进行LLM性能比较.
主要成果:
- 在基本的提示下,LLM显示出有希望但有限的表现.
- 指令微调大大提高了中国BNER的LLM有效性.
- 精心调整的ChatGLM2-6B在现实数据上超过了BiLSTM+CRF.
- 微调的GPT-3.5在CCKS2017上表现出色,但落后于最先进的DGAN.
结论:
- 这项研究是首次评估中国BNER的LLM.
- 对于中国的BNER来说,LLM,特别是微调后的LLM,提供了巨大的潜力.
- 提供了可操作的指导方针,以利用LLM在这个领域.
