日本国家放射技术人员执照考试的大型语言模型:模型生成的研究项目的横向比较基准测试和评估
Toshimune Ito1,2,3, Toru Ishibashi1, Tatsuya Hayashi1,2
1Department of Radiological Technology, Faculty of Medical Technology, Teikyo University, 2-11-1 Kaga, Itabashi-ku, Tokyo, 173-8605, Japan, +81-3-3964-7053.
JMIR medical education
|November 13, 2025
概括
大型语言模型 (LLM) 可以为放射技术专家考试生成准确的多选题. 虽然OpenAI o3在准确性和内容对齐方面表现出色,但为了措辞的清晰度和教学实用性,需要进一步改进.
科学领域:
- 医疗教育 技术 技术 医学教育
- 医疗保健中的人工智能
- 辐射科学 辐射科学
背景情况:
- 模拟考试对于卫生专业教育和执照准备至关重要.
- 导师撰写的多选题往往面临着一致性和清晰性的挑战.
- 大型语言模型 (LLM) 对医学考试项目开发有希望,但它们的教育质量需要彻底评估.
研究的目的:
- 确定最准确的大型语言模型 (LLM) 来生成日本放射技术专家全国考试的问题.
- 利用高性能的LLM创建蓝图一致的多选择题.
- 通过专家审查来评估LLM产生的问题的教育质量.
主要方法:
- 四个LLM (OpenAI o3,o4-mini,o4-mini-high,Gemini 2.5 Flash) 在第77届日本放射技术人员国家考试中进行了测试.
- 对所有项目和173个非图像项目的子集进行了准确性评估.
- 最好的模型 (o3) 产生了192个新项目,这些项目由主题专家根据难度,事实准确性,内容覆盖,措辞和教学实用性进行评分.
主要成果:
- 开放AI o3显示了最高的准确性 (整体90.0%,非图像项目92.5%),显著超过了o4-mini.
- 产生的项目在难度 (4.29),事实准确性 (4.18) 和内容覆盖率 (4.73) 方面获得了高专家评分.
- 词汇适当性 (3.92) 和教学有用性 (3.60) 的评分较低,不总是达到"可采用"的门 (≥4).
结论:
- OpenAI o3有效地生成符合国家难度,准确性和蓝图对齐标准的放射性许可项目.
- 解释的措辞清晰和教学特异性需要进一步的编辑精细化,以获得最佳的教育质量.
- 一种混合方法,LLMs起草项目和教师精炼它们,为可扩展,高质量的项目银行开发提供了一个实用的工作流.
更多相关视频
09:00Author Spotlight: Validation of SICOLE-R for Assessing Cognitive and Reading Skills in Spanish-Speaking Children and Its Role in Personalized Education
Published on: August 16, 2024
1.2K
05:56Objectification of Tongue Diagnosis in Traditional Medicine, Data Analysis, and Study Application
Published on: April 14, 2023
3.2K
