在牙科执照考试中生成人工智能的表现
Reinhard Chun Wang Chau1, Khaing Myat Thu1, Ollie Yiru Yu1
1Faculty of Dentistry, The University of Hong Kong, Hong Kong Special Administrative Region, China.
International dental journal
|January 19, 2024
概括
生成型人工智能 (GenAI) 在牙科领域表现有前途,像ChatGPT 4.0这样的新版本通过了牙科许可证考试. 需要进一步改进才能在牙科教育和实践中得到广泛采用.
科学领域:
- 牙科教育 牙科教育
- 医疗保健中的人工智能
- 专业许可证考试 专业许可证考试
背景情况:
- 生成型人工智能 (GenAI),包括大型语言模型 (LLM),在医疗保健和教育领域具有潜在的应用.
- 在解释牙科特定信息和为牙科执照考试提供准确答案方面,LLM的熟练程度在很大程度上仍未被探索.
研究的目的:
- 调查GenAI在回答来自美国和英国牙科执照考试的多选题时的准确性.
- 为了比较不同版本的GenAI (ChatGPT 3.5和4.0) 在这些检查中的性能.
主要方法:
- 使用了来自美国和英国牙科执照考试的1461个多选题.
- 测试了ChatGPT (3.5和4.0) 的两个版本.
- 在检查和牙科科目中分析了表现.
主要成果:
- 聊天GPT 4.0获得了80.7% (美国) 和62.7% (英国) 的分数,通过了这两项考试.
- 聊天GPT 3.5得分为68.3% (美国) 和43.3% (英国),两次考试都不合格.
- 聊天GPT 4.0表现出卓越的性能,比聊天GPT 3.5.5正确回答更多问题.
结论:
- 最新的GenAI版本在回答牙科执照考试问题方面表现出了显著的熟练程度.
- 虽然很有前途,但GenAI需要进一步改进,以便在所有牙科环境中保持一致的性能.
- 基因人工智能具有影响牙科专业培训和患者沟通的巨大潜力.


