对GPT-4和Google Gemini与儿科耳鼻喉学指南的一致性进行了比较分析

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 耳鼻喉科 耳鼻喉科 耳鼻喉科

背景情况:

• 临床实践指南 (CPG) 对基于证据的医学至关重要.
• 大型语言模型 (LLM) 越来越多地被用于医疗保健应用.
• 准确解释CPG对于患者护理至关重要.

研究的目的:

• 评估LLM在理解儿科耳鼻喉学指南方面的准确性和完整性.
• 为了比较GPT-4和谷歌双子座在这个领域的性能.
• 评估AI作为临床决策中的支持工具的潜力.

主要方法:

• 分析了基于AAO-HNSF指南的GPT-4和谷歌双子对查询的响应.
• 两位独立审稿人对准确性 (1-5) 和完整性 (1-3) 进行了评价.
• 统计分析包括评价者之间的可靠性 (科恩的卡帕) 和模型比较 (威尔科克森的签名等级测试).

主要成果:

• 这两种LLM都实现了高精度 (GPT-4: 4.74,双子座: 4.82) 和完整性 (GPT-4: 2.94,双子座: 2.98).
• 在准确性 (p=0.134) 或完整性 (p=0.34) 的模型之间没有观察到统计学上显著的差异.
• 人工智能响应突出了患者特定因素和需要专业咨询的需要.

结论:

• 在儿童耳鼻喉科中,GPT-4和谷歌双子是有前途的辅助工具.
• 限制包括依赖预先训练的数据和主观评估.
• 持续的AI开发和与人类专业知识的整合对于临床使用至关重要.