使用大型语言模型来分析临床接触中的症状讨论和建议

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 临床沟通研究 研究 临床沟通研究

背景情况:

• 分析患者与提供者之间的互动对于评估护理质量至关重要,但由于时间和方法方面的挑战,往往受到阻碍.
• 大型语言模型 (LLM) 为分析这些相互作用提供了一个潜在的解决方案,但它们的准确性需要验证.
• 评估临床沟通的现有方法资源密集,限制了它们的广泛应用.

研究的目的:

• 评估大型语言模型 (LLM) 的准确性和可靠性,以分析临床经验记录中的患者-医疗服务提供者沟通.
• 在症状讨论的关键方面,将LLM与人类编码者的编码性能进行比较.
• 确定使用LLMs作为分析患者-提供者互动的研究工具的可行性.

主要方法:

• 使用大型语言模型 (GPT-4) 来编码来自92名癌症患者临床成绩单的236个潜在症状讨论.
• 人类编码者独立分析了相同的转录,以确定症状讨论,启动和建议.
• 科恩的kappa (κ) 被计算为衡量LLM和人类编码者之间的interrater协议.

主要成果:

• 在所有措施中,LLM表现出与人类编码器之间的强度至中度可靠性.
• 对症状讨论 (κ = 0.89) 观察到的最高一致性,其次是启动 (κ = 0.82) 和建议 (κ = 0.78).
• 关于建议的分歧发生在16%的案件中,分为九种不同的类型.

结论:

• 从临床成绩单来看,LLM在评估患者与医疗服务提供者的互动方面表现出与人类相似的分析能力.
• 使用LLM可以显著提高分析患者-提供者通信的可行性,用于研究目的.
• 在评估护理质量,识别不平等和改善沟通方面,LLM驱动的分析具有更广泛的应用潜力.