RAGCare-QA:在理论医学知识中评估检索增强生成管道的基准数据集
Jovana Dobreva1, Ivana Karasmanakis2, Filip Ivanisevic2
1Faculty of Computer Science and Engineering, Ss. Cyril and Methodius University, Skopje, North Macedonia.
Data in brief
|October 27, 2025
概括
本研究介绍了RAGCare-QA,这是一个新的数据集,用于评估医疗教育中的提取增强生成 (RAG). 它包含6个专业的420个问题,以评估RAG管道的性能.
科学领域:
- 医学教育 医学教育
- 医疗保健中的人工智能
- 自然语言处理自然语言处理.
背景情况:
- 在医学教育中评估回收增强生成 (RAG) 的有效性需要专门的数据集.
- 现有的资源可能无法充分覆盖医疗培训和评估至关重要的理论知识.
研究的目的:
- 引入RAGCare-QA,这是一个全面的数据集,旨在评估医学教育中的RAG管道.
- 为评估人工智能驱动的医疗知识系统的性能提供标准化工具.
主要方法:
- 开发了RAGCare-QA,一个包含420个理论医学知识问题的数据集.
- 问题涵盖六个医学专业 (心脏病学,内分泌学,胃肠病学,家庭医学,瘤学,神经病学).
- 包括三个复杂度级别 (基本,中级,高级) 的问题,并将它们映射到RAG实现类型 (基本,多向量,图形增强) 中.
主要成果:
- 数据集包含420个单选题.
- 75.0%的问题适用于基本RAG,19.5%适用于多向量RAG,5.5%适用于图形增强的RAG.
- 问题集中在基本概念,病理生理学,诊断标准和治疗原则上.
结论:
- RAGCare-QA是评估基于RAG的医学教育系统的宝贵资源.
- 该数据集使研究人员能够微调各种理论医学知识问题的检索方法.
- 促进人工智能应用在医学培训和评估中的进步.
更多相关视频
03:14Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
Published on: December 6, 2024
1.0K
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
1.3K
