一个大规模的基准,用于评估在罗马尼亚语中回答医疗问题的大型语言模型

科学领域:

• 自然语言处理自然语言处理.
• 医疗信息学 医疗信息学
• 医疗保健中的人工智能

背景情况:

• 开发强大的医疗问答 (QA) 系统对于临床决策支持至关重要.
• 现有的基准通常缺乏多语言能力和特定领域的数据.
• 罗马尼亚语医学数据对当前的人工智能模型提出了独特的挑战.

研究的目的:

• 推出MedQARo,这是罗马尼亚语第一个大型医疗质量保证基准.
• 在这个基准上全面评估最先进的大型语言模型 (LLM) 的性能.
• 评估LLM在不同医疗领域和中心的概括能力.

主要方法:

• 构建一个高质量的数据集,其中包括来自1242名癌症患者病例摘要的105,880个QA对.
• 评估四个开源LLM使用零射击提示和监督微调.
• 在MedQARo基准上对两个基于API的LLM (GPT-5.2,Gemini 3 Flash) 的评估.

主要成果:

• 精心调整的LLM在所有测试集合中显著优于零射击模型.
• 预训练的模型在MedQARo基准上表现出有限的概括能力.
• 在不同的LLM家族和微调策略中,性能各不相同.

结论:

• 针对特定领域和特定语言的微调对于罗马尼亚语可靠的临床质量保证至关重要.
• MedQARo为推进医学NLP研究在代表性不足的语言中提供了宝贵的资源.
• 未来的工作重点应该是改善复杂的临床推理任务的LLM概括.