在心血管决策中,在医院各级对临床医生进行大型语言模型的比较:一个基于图片的横截面研究

科学领域:

• 人工智能在医学中的应用
• 临床决策支持系统 临床决策支持系统
• 医疗教育 技术 技术 医学教育

背景情况:

• 大型语言模型 (LLM) 在医学知识方面表现有前途,但与人类专家相比,它们的临床实用性尚未得到充分证实.
• 与医疗保健专业人员对LLM绩效的比较对于理解他们在临床实践中的潜在作用至关重要.

研究的目的:

• 为了比较两个领先的LLM,DeepSeek-R1和ChatGPT 4.0的表现,与中国的心血管临床医生相比.
• 评估跨关键领域的LLM能力,包括临床推理,前沿更新,基本记忆和紧急决策.

主要方法:

• 使用100个标准化的心血管多选择题进行了横截面的,基于图片的评估.
• 来自初级和三级医院的30名临床医生与DeepSeek-R1和ChatGPT 4.0.0进行了比较.
• 在四个能力领域评估了绩效,每个领域的模型运行了五次,以评估一致性.

主要成果:

• LLM显著优于临床医生,DeepSeek-R1得分为97分,ChatGPT 4.0得分为95分,而临床医生的平均得分为69.7.
• 两位LLM在所有评估领域都超过了临床医生:临床推理,边界更新,基本记忆和紧急决策.
• 在两种LLM中都观察到高运行到运行的一致性 (κ=0.73对于DeepSeek-R1, κ=0.76对于ChatGPT 4.0).

结论:

• 在基于知识和决策的医疗任务中,LLM在临床医生上表现出明显的优势.
• 在不同医疗保健环境中,LLM显示出补充临床专业知识和改善诊断一致性的潜力.
• 需要进一步的研究来探索LLM在临床工作流程中的整合,以改善患者护理.