在整个临床工作流程中,对中国大语言模型和ChatGPT的性能进行比较

科学领域:

• 人工智能在医学中的应用
• 临床决策支持系统 临床决策支持系统
• 自然语言处理自然语言处理.

背景情况:

• 聊天GPT在复杂的临床工作流程中表现出熟练.
• 中国大语言模型 (LLM) 在临床环境中的表现在很大程度上未被评估.
• 需要对中国LLM和ChatGPT进行直接比较.

研究的目的:

• 评估中国LLM的临床决策支持能力.
• 为了比较中国LLM与ChatGPT-4的表现.
• 评估与人类紧急医生的LLM绩效.

主要方法:

• 使用了来自默克手册的29个模拟病例.
• 在差异诊断,诊断工作,诊断和管理方面评估了LLM的表现.
• 对比了两个中国的LLM (Doubao,ERNIE Bot 3.5) 和ChatGPT-4,然后将最好的中国LLM与18名急诊医生进行了对比.

主要成果:

• 在所有临床工作流方面,Doubao的表现与ChatGPT-4相比.
• 与ChatGPT-4和Doubao相比,ERNIE Bot 3.5在差异诊断,诊断问题和管理方面表现较差.
• 在诊断问题和管理方面,LLM在诊断和差异诊断方面没有显著差异,在诊断和差异诊断方面表现优于人类急诊医生.

结论:

• 中国的LLM Doubao在全面的临床工作流程中表现出与ChatGPT相当的表现.
• 与人类急诊医生相比,LLM在特定的临床任务中表现出优越的能力.
• 在LLMs的快速进步表明实践医疗保健应用的巨大潜力.