将人工智能纳入临床教育:评估一般实践学员在区分人工智能产生的幻觉和影响因素方面的熟练程度

科学领域:

• 医学教育 医学教育
• 医疗保健中的人工智能
• 临床实践 临床实践

背景情况:

• 一般实践 (GP) 实习生批判性地评估AI输出的能力对于安全的临床实践至关重要.
• 在医疗保健中越来越多地使用像ChatGPT-4o这样的AI工具,需要了解它们的局限性,包括人工智能产生的幻觉.

研究的目的:

• 评估全科医生 (GP) 实习生在模拟临床实践中从ChatGPT-4o中检测AI产生的幻觉的能力.
• 将遇到的AI幻觉类型分类,并分析影响学员检测准确性的因素.

主要方法:

• 一项涉及142名GP学员的多中心,横截面调查.
• 评估ChatGPT-4o的准确性和一致性,以及实习生的响应时间,准确性,灵敏度 (d') 和响应倾向 (β).
• 二进制回归分析,以确定与错误检测相关的因素.

主要成果:

• 总体而言,ChatGPT-4o准确率为80.8%,但在专业实践场景中降至44.2%.
• 一般医生的实习生以55.0%的准确率和0.39.0的灵敏度 (d') 识别了AI幻觉.
• 较短的响应时间,更高的自我评估AI理解,更频繁的AI使用与更严格的错误检测相关.

结论:

• 在临床背景下,全科医生实习生在识别AI产生的错误方面表现出重大挑战.
• 提高人工智能素养和批判性评估技能对于将人工智能负责任地整合到医学培训和实践中至关重要.