在急诊室GPT辅助差异诊断的准确性评估

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 紧急医疗 紧急医疗

背景情况:

• 在急诊室 (ED) 中,准确和及时的诊断对于患者的治疗结果和医疗保健效率至关重要.
• 电子健康记录 (EHR) 包含有价值的患者数据,但通常以非结构化的格式.
• 大型语言模型 (LLM) 提供了处理非结构化临床文本的潜力.

研究的目的:

• 为了评估ChatGPT-3.5和ChatGPT-4的诊断准确性,在产生ED电子病历笔记的差异诊断时.
• 为了比较不同 ChatGPT 代的性能,作为 ED 环境中的潜在诊断辅助工具.
• 将LLM生成的诊断与实际的出院诊断进行比较.

主要方法:

• 使用了从急诊室入院前24小时的电子健康记录笔记.
• 使用ChatGPT-3.5和ChatGPT-4生成差异诊断列表.
• 通过将LLM生成的列表与身体系统和类别级别的确诊出院诊断进行比较来评估准确性.

主要成果:

• 聊天GPT-3.5和聊天GPT-4都在预测身体系统水平的诊断方面表现出合理的准确性.
• 在身体系统层面上,ChatGPT-4的性能略高于ChatGPT-3.5.
• 在更精细的类别层面,性能精度下降,尽管ChatGPT-4在关键类别中显示出更好的精度.

结论:

• 在紧急医疗中,LLM是有前途的诊断辅助工具,特别是在处理非结构化EHR数据时.
• 与ChatGPT-3.5相比,ChatGPT-4显示了增强的功能,特别是在复杂的临床场景中.
• 需要进一步改进,以提高细粒度水平的诊断精度,以便在临床上广泛采用.