用人工智能生成的问题来评估泌尿器科能力:一个前性的教育研究

科学领域:

• 医学教育 医学教育
• 人工智能在医学中的应用
• 泌尿器科评估评估

背景情况:

• 传统的医学评估问题开发是耗时的,并且难以跟上不断变化的知识.
• 人工智能在特定专业医学教育评估中的整合,特别是在临床轮换期间,在很大程度上是未被探索的.
• 这项研究解决了需要高效和有效的评估工具在泌尿病学.

研究的目的:

• 评估人工智能生成的多选项问题的有效性,以评估医疗实习生的泌尿学能力.
• 为了比较由不同的AI模型 (ChatGPT和Gemini) 产生的问题的技术准确性和临床相关性.
• 确定人工智能生成的问题是否适用于泌尿病学中的形成性和总结性评估.

主要方法:

• 两个人工智能语言模型在6个泌尿器科子专业中产生了300个多选题.
• 七位经验丰富的泌尿科医生根据技术准确性,临床相关性和使用修改后的Delphi方法构建有效性验证了问题.
• 根据专家的共识,选择了100个验证问题.

主要成果:

• 医学实习生的表现在轮换期间显著改善,这表明有效的知识获取.
• 人工智能平台的技术准确性也相当 (ChatGPT:84.3%,双子座:83.8%).
• 与回忆问题相比,临床场景问题显示出优异的歧视 (0.28与0.14,p<0.001).

结论:

• 人工智能生成的问题具有适当的技术准确性和难度,用于评估泌尿病学临床能力.
• 人工智能工具显示出形成性评估的潜力,特别是临床场景,但由于目前的歧视限制,需要仔细考虑高风险测试.
• 在专业特定的评估中整合人工智能产生的问题是可行的,专家监督和持续验证.