评估使用 GPT-4 编码识别肝硬化及其并发症的积极预测价值

科学领域:

• 医疗信息学医学信息学
• 自然语言处理 (NLP) 是一种自然语言处理.
• 临床研究方法论临床研究方法论

背景情况:

• 诊断代码分类是肝硬化研究中确定患者队列的标准,但往往缺乏准确性.
• 手动图表审查是劳动密集型和耗时的,限制了可扩展性.
• 大型语言模型 (LLM) 为更准确和更有效的队列识别提供了一个潜在的解决方案.

研究的目的:

• 评估基于LLM的分类对识别肝硬化及其并发症的准确性.
• 为了比较基于LLM的分类与传统的基于代码的分类和手动图表审查.
• 评估LLM在临床研究中增强或取代基于代码的方法的潜力.

主要方法:

• 从肝硬化住院中提取了3788份出院摘要.
• 使用零射击提示与生成预训练变压器4 (GPT-4)进行分类.
• 使用手动图表审查作为黄金标准和基于LLM的分类作为银标准来评估基于代码的性能.

主要成果:

• 与图表审查相比,GPT-4在识别肝硬化及其并发症方面取得了很高的准确性 (87.8%-98.8%).
• 基于代码的分类显示,与基于LLM的方法相比,在所有条件下,积极预测值 (PPV) 较低.
• 基于LLM的分类在与LLM作为银标准进行评估时显著优于基于代码的分类.

结论:

• 基于LLM的分类是一种非常准确的方法来识别肝硬化及其并发症.
• 实际上,LLM可以作为一个可扩展的"银标准"来评估传统的基于代码的分类.
• 这些发现支持使用LLM来改进或取代基于代码的队列识别,可能减少对手工图表审查的依赖.