MedChatZH:一个调整LLM传统中医咨询的调整LLM
Yang Tan1, Zhixing Zhang2, Mingchen Li1
1Department of Computer Science and Technology, East China University of Science and Technology, Shanghai, 200237, China; Shanghai Artificial Intelligence Laboratory, Shanghai, 200240, China; Chongqing Artificial Intelligence Research Institute of Shanghai Jiao Tong University, 200240, China.
Computers in biology and medicine
|March 19, 2024
概括
这项研究介绍了MedChatZH,一种用于中医医学问答的大型语言模型 (LLM). MedChatZH通过使用专门的培训数据,提高了传统中医查询的性能.
科学领域:
- 人工智能的人工智能
- 自然语言处理自然语言处理.
- 医疗信息学 医疗信息学
背景情况:
- 大型语言模型 (LLM) 在英语NLP任务中表现出色,但在中文方面却扎不堪,尤其是在传统中医 (TCM) 等专业领域.
- 现有的中国医疗质量保证系统缺乏足够的微调和高质量的数据集,阻碍了性能.
研究的目的:
- 开发一个专门的对话模型,MedChatZH,用于中医医学问答 (QA).
- 通过利用变压器解码器和LLaMA架构,增强对中国医学领域的LLM概括性.
主要方法:
- 基于LLaMA的变压器解码器模型在中国医学书籍的精选体上进行了继续预训练.
- 微调模型使用精心挑选的医疗指令数据集,用于中国QA.
- 在现实世界医疗对话数据集上对中国对话基准进行MedChatZH的评估.
主要成果:
- 与几个中国对话基线相比,MedChatZH表现出了更好的表现.
- 该模型在现实中医对话数据集上取得了更好的结果.
- 模型,代码和数据集的公开发布,以促进进一步研究.
结论:
- MedChatZH有效地解决了在中国医疗QA中一般LLMs的局限性.
- 开发的模型显示了传统中医信息检索应用的重大前景.
- 开源的MedChatZH促进了TCM研究和专业领域的LLM开发的进步.
