对比ChatGPT3.5和Bard对结肠镜间隔的建议:弥合医疗保健机构的差距

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 胃肠病学 胃肠病学

背景情况:

• 结肠直肠癌 (CRC) 是全球癌症死亡的一个重要原因.
• 通过查和监测结肠镜检测的早期检测对于改善患者的治疗结果至关重要.
• 人工智能,特别是大型语言模型 (LLM) 的整合到医疗保健工作流中是一个新兴的研究领域.

研究的目的:

• 评估两种自由可用的LLM,GPT3.5和Bard在推结肠镜间隔中的有效性.
• 将这些LLM的性能与指导方针指导的内镜师小组进行比较.
• 在各种医疗保健环境中评估LLM准确性和评审者之间的可靠性.

主要方法:

• 一项横截面研究分析了来自安全网和私人三级医院的549份结肠镜报告和病理学数据.
• 基于提供的数据,GPT3.5和Bard被用来推结肠镜查间隔.
• 在准确性和一致性方面,LLM的建议与专家内镜师小组的建议进行了比较.

主要成果:

• 与Bard (50.0%,P < 0.001) 相比,GPT3.5与指南建议的一致性更高 (60.4%).
• 在安全网医院,GPT3.5显示出比Bard (45.7%一致性,kappa=0.148) 更好的一致性 (60.5%一致性,kappa=0.340).
• 两种模型都在私人医院中显示出公平的协议,但整体准确性限制了它们的独立使用.

结论:

• 自由可用的LLM目前在准确推结肠镜查间隔方面存在局限性.
• 虽然LLM提供了标准化的潜力,但它们的准确性很低,不能作为唯一的决策工具使用它们.
• 在临床上广泛采用结肠镜监测建议之前,需要进一步开发和验证.