调查分析 - - 聊天GPT在波兰病理学专业考试中取得优异成绩的能力

科学领域:

• 医学教育 医学教育
• 人工智能在医学中的应用
• 病态形态学 病态形态学

背景情况:

• 人工智能 (AI) 在医学中越来越多地被探索.
• 人工智能的潜力,特别是像ChatGPT-3.5这样的大型语言模型,需要对医疗应用进行严格的评估.
• 评估AI在专业医疗知识领域的准确性至关重要.

研究的目的:

• 评估ChatGPT-3.5语言模型在回答国家专业考试 (PES) 相关的病态学问题的有效性.
• 分析ChatGPT-3.5在病态形态学中的不同类型和亚型问题中的性能变化.
• 在高风险的医学检查环境中,将AI性能与人类受访者基准进行比较.

主要方法:

• 一套119个病态形态学考试问题,按类型和亚型分类,被管理到ChatGPT-3.5模型.
• 绩效分析侧重于AI模型在各种问题类别中的成功率.
• 结果与国家专业考试 (PES) 的最低通过门进行了比较.

主要成果:

• 聊天GPT-3.5的整体绩效得分为45.38%,远低于PES的最低通过门.
• 根据问题类型的表现有所不同,与基于"记忆"的问题相比,评估"理解和批判性思维"的问题的成功率更高.
• 人工智能模型在病态学问题上的准确性远低于人类受访者的准确性.

结论:

• 虽然ChatGPT-3.5是一个潜在的教育辅助工具,但它不符合PES中病态学问题的要求准确性标准.
• 人工智能模型需要显著改进,特别是在医疗领域的细微差别和复杂性方面.
• 当前的人工智能能力虽然有帮助,但不能取代人类医疗专家的专业知识和知识基础.