量化口腔和面外科手术大型语言模型的速度准确性权衡 多选题问题

科学领域:

• 人工智能在医学中的应用
• 口腔和面外科教育教育口腔和面外科

背景情况:

• 大型语言模型 (LLM) 越来越多地被整合到牙科课程中.
• 牙科LLM的实时决策支持能力并不成熟,因为大多数评估只关注准确性.

研究的目的:

• 为了对六个LLM引擎 (GPT-4o,OpenAI o3,Copilot-Quick,Copilot-Deep,Gemini-Flash,Gemini-Pro) 的诊断准确度和响应延迟进行比较.
• 为了评估口腔和面外科手术 (OMFS) 董事会审查问题的LLM绩效.

主要方法:

• 进行了一项前性的in silico诊断准确性研究.
• 从OMFS董事会审查文本中使用了1766个多选题,以教科书键作为参考标准.
• 评估的指标包括整体和域级准确性,答案一致性和响应延迟.

主要成果:

• 在LLM引擎中观察到显著的精度差异 (p < 0.001),从77.9% (Copilot-Quick) 到88.3% (Gemini-Pro).
• 推理优化的LLM (o3,Copilot-Deep,Gemini-Pro) 在特定的OMFS领域表现出更高的精度 (3.8-6.2%更高),但响应时间更长 (2.1-3.1s vs 0.1-0.2s).
• 没有回答的问题往往涉及罕见的数字事实或负面措辞的茎.

结论:

• 推理优化的LLM为OMFS董事会问题提供了临床相关的准确性改进.
• 对于实时应用,必须考虑精度增长和延迟增加之间的权衡.
• 专家监督对于解决剩余的知识差距和确保安全的临床实施至关重要.