CPMI-ChatGLM:具有参数效率的微调ChatGLM与中国专利医学说明书
Can Liu1,2, Kaijie Sun1, Qingqing Zhou1
1School of Medical Informatics Engineering, Anhui University of Traditional Chinese Medicine, Hefei, 230012, China.
Scientific reports
|March 17, 2024
概括
研究人员开发了CPMI-ChatGLM,这是中国专利医学说明书 (CPMI) 的微调语言模型. 该模型显示了CPM建议的最新表现,有助于辅助诊断和治疗.
科学领域:
- 人工智能的人工智能
- 计算语言学 计算语言学
- 传统中国医药 传统中国医药
背景情况:
- 中国专利医学 (CPM) 是中国传统医学 (TCM) 的一个关键组成部分.
- 中国专利医学指南 (CPMI) 对于安全有效的药物使用至关重要.
- 将高级语言模型应用于CPMI领域需要专门的数据集和微调.
研究的目的:
- 为中国专利医学说明书 (CPMI) 开发一个大型语言模型.
- 创建和发布第一个全面的CPMI数据集.
- 评估微调模型的性能,用于CPM推和辅助诊断.
主要方法:
- 组装和处理了第一个CPMI数据集.
- 使用参数效率技术 (LoRA,P-Tuning v2) 微调了ChatGLM-6B基础模型.
- 使用BLEU,ROUGE和BARTScore指标评估模型性能,以及人类评估.
主要成果:
- 开发了CPMI-ChatGLM,与类似模型相比,实现了最先进的性能.
- 在BLEU-4 (0.7641),ROUGE-1 (0.8188),ROUGE-2 (0.7738),ROUGE-L (0.8107) 和BARTScore (-2.4786) 上获得了高分.
- 在CPM建议和潜在的辅助诊断方面表现出熟练.
结论:
- CPMI-ChatGLM是TCM中CPM建议和辅助诊断的一个有前途的工具.
- 该CPMI数据集为数据挖掘和该领域的进一步研究提供了重要的价值.
- 在消费级硬件上进行参数高效的微调对于开发专门的语言模型是可行的.
更多相关视频
09:16Author Spotlight: Optimization of Processing Technology for Tiebangchui with Zanba Based on CRITIC Combined with Box-Behnken Response Surface Method
Published on: May 12, 2023
1.1K
09:12Optimization of Processing of Tiebangchui with Highland Barley Wine Based on the Box-Behnken Design Combined with the Entropy Method
Published on: May 19, 2023
644
