推进韩国医疗大型语言模型:为韩国医疗偏好数据集建设提供自动化管道
Jean Seo1, Sumin Park2, Sungjoo Byun1
1Department of Linguistics, Seoul National University, Seoul, Korea.
Healthcare informatics research
|May 19, 2025
概括
韩国医疗偏好数据集 (KoMeP) 增强了生物医学中的大型语言模型 (LLM). 直接偏好优化 (DPO) 在对齐调整方面显示出优于赔率偏好优化 (ORPO) 的性能.
科学领域:
- 生物医学自然语言处理
- 医疗保健中的人工智能
- 机器学习用于医疗应用.
背景情况:
- 为生物医学开发先进的大型语言模型 (LLM) 需要高质量的,专门的数据集用于培训和对准调整.
- 在公开可用的韩国医疗偏好数据集中存在重大差距,阻碍了韩国特定医疗LLM的进展.
研究的目的:
- 引入和评估韩国医疗偏好数据集 (KoMeP),这是生物医学LLMs的新型对齐调节数据集.
- 通过自动化管道解决韩国医疗偏好数据的稀缺问题,从而降低人类注释成本.
主要方法:
- KoMeP是使用DAHL得分来构建的,这是一个用于评估模型幻觉的自动化指标.
- 该数据集包括5,551个偏好对,从5个LLM对8,573个生物医学问题的答案中提取出来.
- 通过培训五名LLM使用直接偏好优化 (DPO) 和赔率偏好优化 (ORPO) 并根据KorMedMCQA基准评估KoMeP的有效性.
主要成果:
- 与DPO微调的模型在KorMedMCQA性能上表现出一致的改进,Llama-3.1-8B实现了43.96%的增长.
- ORPO培训产生了不一致的结果,表明DPO对此数据集的效果更大.
- 英语到韩语的转移学习是有效的,特别是在以英语为中心的模型中,而韩语到英语的转移学习显示出有限的好处.
结论:
- KoMeP代表了首个公开可用的韩国医疗偏好数据集,大大提高了LLM对齐调整.
- 直接偏好优化 (DPO) 方法在对齐调整方面被证明优于几率比率偏好优化 (ORPO).
- 未来的研究应该专注于扩大KoMeP,开发韩国原生数据集,并改进调整方法,以获得更安全,更可靠的韩国医学LLM.
