人工智能用于心脏病重症监护中的程序编码:评估大型语言模型以确定当前程序术语的准确性

科学领域:

• 关键护理医学 关键护理医学
• 医疗信息学 医疗信息学
• 医疗保健中的人工智能

背景情况:

• 准确的程序编码对于资源分配,计费和重症监护中的质量报告至关重要.
• 在诸如心血管外科重症监护室 (CVSICU) 这样的高急性环境中,手动编码是复杂的,容易出错,特别是在外体膜氧化 (ECMO) 等程序中.
• 大型语言模型 (LLM) 为自动化程序编码提供了一个潜在的可扩展解决方案.

研究的目的:

• 系统地评估六个公开可访问的LLM在为CVSICU中执行的程序分配当前程序术语 (CPT) 代码方面的表现.
• 为了比较不同LLM的准确性,无论是一般的CVSICU程序还是复杂的ECMO相关干预.

主要方法:

• 六个LLM (GPT-4,克劳德 3.7 索内特,困惑,深度搜索,谷歌双子座 2.5 Pro,Mistral) 进行了测试.
• 模型被要求从单一的第三级中心对47个CVSICU程序 (包括7个ECMO干预) 分配CPT代码,其中包括7个ECMO干预.
• 评估了代码准确性,并对模型间性能差异进行了统计比较.

主要成果:

• 对于非ECMO程序,Gemini 2.5 Pro和Perplexity实现了最高的准确性 (88%).
• 对于ECMO相关的代码,Perplexity显示了最高的准确度 (86%),其次是Gemini 2.5 Pro (71%).
• 观察到显著的模型间性能差异,GPT-4.0显示ECMO代码的精度为0%.

结论:

• 像Perplexity和Gemini这样的LLM显示出在重症监护中自动化程序编码的前景.
• 一个主要的局限性是模型目前难以理解取决于上下文的细微差别,特别是ECMO程序.
• 未来的研究应该专注于对LLMs的特定领域微调,以提高在高急性临床环境中的准确性.