区分人工智能生成的和人类编写的电子居留申请服务 (ERAS) 耳鼻喉学个人陈述

科学领域:

• 医学教育 医学教育
• 医疗保健中的人工智能
• 住院招生 住院招生

背景情况:

• 生成型人工智能工具引发了人们对居留申请真实性和公平性的担忧.
• 通过/失败的USMLE第一步过渡增加了对个人陈述等定性组件的依赖.
• 个人陈述的完整性对于面试邀请和排名决定至关重要.

研究的目的:

• 评估ChatGPT 4.0能够产生令人信服的耳鼻喉科住院个人陈述的能力.
• 评估专家审稿人是否能够区分人工智能生成和人类撰写的陈述.
• 探索人工智能产生的内容对居住选择过程的影响.

主要方法:

• 聊天GPT生成了五个耳鼻喉科住院的个人陈述.
• 这些人工智能生成的陈述与五个未被识别的2019年申请人撰写的陈述相结合.
• 四名耳鼻喉科医生和四名律师使用标准化标签对十份陈述进行了评分 (盲目).
• 一个人工智能检测工具分析了所有来源声明.

主要成果:

• 在人工智能生成和人类撰写的陈述之间的可读性,原创性,说服力或面试可取性等平均评分中没有发现显著差异 (P > 0.05).
• 由于样本规模较小,这项研究不足,限制了对统计学上显著差异的检测.
• 人工智能检测工具正确识别了93.6%的人工智能生成的文本,对人类写的文本的概率很低.
• 审稿人的职业没有显著影响得分.

结论:

• 聊天GPT可以生成个人陈述,其质量和认知真实性与人类撰写的人类陈述相美.
• 目前的AI检测工具在识别人工智能生成的文本方面仍然有效.
• 驻留计划需要明确的关于人工智能使用,检测策略的指导方针,以及对人工智能对申请人评估影响的进一步研究.