在IDSA实践指南上评估LLM对原生脊椎骨髓炎的诊断和治疗:一项比较研究

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 临床决策支持系统 临床决策支持系统

背景情况:

• 原生脊椎骨髓炎 (NVO) 带来了重大的诊断和治疗挑战.
• 遵守复杂的临床指南对于有效的NVO管理至关重要.
• 对非营利组织临床决策支持的大型语言模型 (LLM) 的应用在很大程度上尚未评估.

研究的目的:

• 评估四个LLM在解释NVO临床指南中的准确性和全面性.
• 为了比较共识,双子座,聊天GPT-4o Mini和聊天GPT-4o的性能.

主要方法:

• 使用了基于2015年IDSA对非营利组织的指导方针的标准化问题.
• 四个LLM产生了对13个问题的答案 (n=52个总答案).
• 整形外科医生评估了反应的准确性 (4分级) 和全面性 (5分级).

主要成果:

• 与共识相比,ChatGPT-4o和Gemini表现出更高的准确性和全面性.
• 在与治疗相关的问题上,ChatGPT-4o实现了100%的优秀准确性.
• 观察到显著的模型间性能差异 (p < 0.001).

结论:

• 先进的LLM,特别是ChatGPT-4o和Gemini,在解释NVO临床指南方面显示出显著的潜力.
• 这些LLM可以作为一个有价值的工具,以提高基于证据的决策在非政府组织的护理.
• 通过LLM整合,可以提高管理非营利组织的一致性和有效性.