大型语言模型在内牙科的临床相关性:基于50个模拟病例场景的诊断适当性
Büşra Karaca1, Yunus Emre Çakmak2, Damla Erkal3
1Department of Oral and Maxillofacial Surgery, Faculty of Dentistry, Burdur Mehmet Akif Ersoy University, Burdur, Turkiye.
概括
大型语言模型 (LLM) 在内牙治疗规划中显示出不同的诊断准确性. 克劳德4表现最好,而ChatGPT-3.5落后,突出了在牙科决策中需要谨慎使用AI的必要性.
科学领域:
- 牙科 牙科是指牙科的专业.
- 人工智能的人工智能
- 医疗信息学 医疗信息学
背景情况:
- 大型语言模型 (LLM) 是医疗保健中的新兴工具.
- 它们在牙周内科决策等专业领域的实用性需要彻底评估.
- 目前的LLM在内牙治疗规划方面的表现还没有得到很好的定义.
研究的目的:
- 为了比较六种不同的大型语言模型的诊断适当性,用于内牙治疗规划.
- 评估LLMs在评估内牙科手术临床场景时的准确性.
主要方法:
- 对六名LLM进行了50个内牙临床场景:ChatGPT-4o,ChatGPT-3.5,Claude 4,Copilot,DeepSeek-V3和Gemini 2.5.5.
- 两位内科医生评估了答案的诊断适当性.
- 统计分析包括重复测量ANOVA和千平方测试.
主要成果:
- 在LLM中观察到诊断准确性的显著差异 (p < 0.05).
- 克劳德4以76%的准确度显示出最高的准确度,其次是DeepSeek-V3和Gemini 2.5.5.
- 聊天GPT-3.5的准确度最低,为40%.
- 在简单的病例中,LLM的表现优于复杂的内牙场景.
结论:
- 目前用于内牙治疗计划的LLM的诊断准确性存在很大变化.
- 一些LLM可能提供可靠的见解,而另一些则可能产生不准确的建议.
- 人类监督和专业化的,微调的LLM的进一步发展对于安全的临床整合至关重要.


