评估紧急部门的检索增强大语言模型性能与人类编码器相比,ICD-10-CM编码

科学领域:

• 医疗保健中的人工智能
• 医疗信息学 医疗信息学
• 改善临床文档 改善临床文档

背景情况:

• 准确的医疗编码对于医疗保健业务至关重要,但通常是复杂的,耗时的,容易产生偏见.
• 本研究通过比较人工智能驱动的方法与传统的提供者分配来解决医疗编码方面的挑战.

研究的目的:

• 评估Retrieval-Augmented Generation (RAG) 增强的大型语言模型 (LLM) 在从急诊部 (ED) 临床记录中生成ICD-10-CM代码的性能.
• 将人工智能生成的代码的准确性和特异性与医疗保健提供者分配的代码进行比较.

主要方法:

• 一项回顾性队列研究分析了500次ED访问,通过RAG将过去100多万次访问的数据集成到LLM中.
• 评估了9个商业和开源的LLM,其生成的ICD-10-CM代码与提供商分配的代码相比.
• 一个由医生和LLM组成的小组进行了盲目审查,以评估代码的准确性和特异性.

主要成果:

• 与提供商编码器相比,RAG增强的LLM显示出更高的准确性和特异性.
• 在存在差异的情况下,人类审查者更喜欢GPT-4的准确性和特异性,而不是提供者代码 (p<0.001).
• 即使是像Llama-3.1-70B这样的更小的开放访问模型也显示出RAG的实质性改进,并且RAG集成后的所有模型中精确匹配率显著增加.

结论:

• 在ED环境中,RAG增强的LLM在医疗编码准确性和特异性方面提供了显著的改进.
• 这些发现表明,生成性AI,特别是RAG增强的LLMs,具有强大的整合到临床工作流程的潜力.
• 这项技术可以提高临床结果,并大大减少医疗保健中的行政负担.