大型语言模型的诊断准确性,用于对上唇 frenulum 附件的分类
Mehmet Gümüş Kanmaz1, Genta Agani Sabah2
1Department of Periodontology, Faculty of Dentistry, Izmir Tinaztepe University, Izmir, Turkey. drmehmetkanmaz@gmail.com.
Odontology
|December 10, 2025
概括
多模式的大型语言模型显示诊断准确性较差,用于从口腔内照片中分类上方唇附着物. 目前的人工智能模型还不是可靠的牙科诊断工具,如果没有特定领域的培训.
科学领域:
- 人工智能在牙科中的应用
- 医学图像分析 医学图像分析
- 口腔健康诊断 口腔健康诊断
背景情况:
- 精确分类的上唇关节附件对于正牙和牙周评估至关重要.
- 多模式大语言模型 (LLM) 为医疗保健中的自动图像分析提供了潜力.
研究的目的:
- 评估领先的多式LLM (ChatGPT 4o,Gemini 2.5 Pro,Microsoft Copilot GPT-4) 在从口内照片中分类上唇附着物时的诊断准确度.
- 将LLM绩效与专家共识作为参考标准进行比较.
主要方法:
- 五位牙科专家为117张口腔内图像建立了一个共识标准.
- 三个多式联络LLM分析了相同的图像,以分类 frenulum 附件.
- 评估了诊断性能指标 (准确性,灵敏度,特异性,F1得分) 和可靠性 (卡帕统计).
主要成果:
- 人类专家表示几乎完全一致 (κ=0.838).
- 在LLM中,模型间协议很差 (κ=-0.124).
- 只有ChatGPT与专家共识略有显著一致 (κ=0.114),但临床相关性微不足道. 双子号和副驾驶员没有显示出任何显著的协议.
- 微软的Copilot获得了最高的准确率 (46.2%),其次是Gemini (44.5%) 和ChatGPT (35.0%).
结论:
- 目前的多模式LLM显示不一致,并且在临床上不够准确,用于分类上部唇附着物.
- 特定领域的培训对于开发牙科中可靠的AI诊断工具至关重要.
- 在专门的牙科诊断中临床应用之前,LLM需要进一步开发.
