在神经外科培训中探测人工智能:ChatGPT参加了神经外科住院人员的书面考试
A Bartoli1,2, A T May1,2, A Al-Awadhi1,2
1Department of Clinical Neurosciences, Division of Neurosurgery, Geneva University Medical Center, Geneva, Switzerland.
Brain & spine
|January 1, 2024
概括
像ChatGPT这样的人工智能 (AI) 工具在医学教育中显示出潜力,但需要精确的提示来生成问题. 在神经外科检查中,ChatGPT的表现很差,尽管它准确地回答了自己的问题.
科学领域:
- 医学教育 医学教育
- 人工智能的人工智能
- 神经外科 神经外科
背景情况:
- 人工智能 (AI) 越来越多地融入各种领域,包括医学科学和教育.
- 像ChatGPT这样的生成性AI工具正在被探索,因为它们在学术和临床环境中具有实用性.
- 需要在专业医疗检查中评估AI的性能.
研究的目的:
- 评估生成预训练变压器3.5 (ChatGPT) 在生成和回答神经外科住院者考试问题的性能.
- 在居民表现方面,将人工智能生成的问题与人类生成的问题进行比较.
- 评估ChatGPT能够回答自己生成的问题的能力.
主要方法:
- 一个包括50个问题 (46个由人生成,4个由人工智能生成) 的书面神经外科考试给了10名住院医生和ChatGPT.
- 问题包括开放式和多选题格式;不包括基于图像的8个问题.
- 根据其问题生成,对人类生成的问题的答案以及对人工智能生成问题的答案来评估ChatGPT的表现.
主要成果:
- 为生成问题制定有效的AI提示需要一个代的过程,以确保问题和答案的准确性.
- 在回答考试问题时,ChatGPT在参与者中排名低 (9/11).
- 在人类生成和人工智能生成的问题之间,没有观察到居民响应率的显著差异.
- 聊天GPT准确地回答了它产生的所有问题.
结论:
- 人工智能为医学教育和专业应用提供了一个有前途的工具,尽管它的精确作用需要进一步定义.
- 有效地利用人工智能来生成教育内容需要高度精确的提示,详细说明内容,问题类型和正确答案.
- 需要进一步的研究来优化AI整合到医疗培训和评估中.
