人工智能在土耳其牙科专业化考试中的表现:ChatGPT-4.0和gemini advanced能否达到与人类相似的结果?
Soner Sismanoglu1, Belen Sirinoglu Capan2
1Faculty of Dentistry, Department of Restorative Dentistry, Istanbul University-Cerrahpasa, Istanbul, Turkey.
BMC medical education
|February 10, 2025
概括
像ChatGPT-4.0和Gemini Advanced这样的AI聊天机器人通过了土耳其牙科考试,但得分低于表现最好的人类. 他们在牙周病学方面表现出色,但在内牙科和正牙科方面扎.
科学领域:
- 人工智能的人工智能
- 牙科教育 牙科教育
- 医学检查 医学检查
背景情况:
- 人工智能驱动的聊天机器人越来越多地用于牙科教育和临床治疗规划.
- 本研究评估了领先的人工智能聊天机器人在专业牙科检查中的表现.
研究的目的:
- 评估和比较ChatGPT-4.0和Gemini Advanced在土耳其牙科专业化考试 (DUS) 的表现.
- 将AI聊天机器人的表现与各自年份的人类表现最佳的表现进行比较.
主要方法:
- 从2020年和2021年的DUS问题被管理到ChatGPT-4.0和双子座高级.
- 人工智能聊天机器人的响应相互比较,并与得分最高的候选人进行比较.
- 使用皮尔森的千二测试 (p < 0.05) 进行了统计分析.
主要成果:
- 聊天GPT-4.0比双子座高级 (65%在2020年, 60.2%在2021年) 实现了更高的正确响应率 (2020年83.3%,2021年80.5%).
- 这两种人工智能聊天机器人都超过了45分的通过分数,但总体得分低于最高表现的人类聊天机器人.
- 人工智能聊天机器人在牙周科表现最好,在内牙科和正牙科表现最弱.
结论:
- 聊天GPT-4.0和Gemini Advanced成功通过了DUS,满足了最低得分要求.
- 尽管通过了AI聊天机器人,但与顶级人类候选人相比,他们的表现不佳,特别是在基础和临床科学中.
- 性能因专业而异,牙周病是强项,内牙科/正牙科是需要改进的领域.
