基于LLM的USMLE风格问题的生成与ASPET/AMSPC知识目标:所有RAG和没有财富

科学领域:

• 药理学教育教育 药理学教育
• 人工智能在医学中的应用
• 医学评估 医学评估

背景情况:

• 开发高质量的药理学多选题 (MCQ) 是一个挑战,因为不断发展的指导方针和基础科学与临床医学的整合.
• 大型语言模型 (LLM) 在回答医学考试问题方面表现有前途,这引发了人们对它们用于生成考试式问题的兴趣.
• 美国药理学和实验疗法学会/医学院药理学主席协会 (ASPET/AMSPC) 提供了对医学药理学教育至关重要的知识目标.

研究的目的:

• 评估ChatGPT-4o在生成USMLE样式药理学问题的性能.
• 评估检索增强生成 (RAG) 对人工智能生成的药理学MCQ的准确性和质量的影响.
• 将人工智能产生的问题与既定的教育标准进行比较.

主要方法:

• 通过使用ChatGPT-4o生成50个药理学MCQ (25个使用RAG,25个没有RAG).
• 问题是基于ASPET/AMSPC知识目标而制定的.
• 专家评审人员评估了生成问题的准确性和质量.

主要成果:

• 与RAG问题 (69.2%) 相比,非RAG问题显示出更高的准确性 (88.0%),尽管这种差异在统计学上并不显著.
• 在其他质量指标中,RAG和非RAG问题之间没有发现显著差异.
• 该研究表明,复杂的LLM可以有效地生成高质量的药理学MCQ.

结论:

• 聊天GPT-4o可以生成高质量的药理学MCQ,适合高风险考试.
• 在本研究中,检索增强生成 (RAG) 并没有显著提高LLM生成的药理学问题的性能.
• 人类监督对于确保人工智能生成的医学教育内容的准确性和适当性至关重要.