大型语言模型可以使用叙事操作报告准确填充血管质量倡议程序数据库

科学领域:

• 血管外科手术数据管理
• 医疗保健中的人工智能
• 医疗信息学 医疗信息学

背景情况:

• 血管质量倡议 (VQI) 的参与提供了宝贵的资源,但往往因数据输入的时间和人员限制而受到阻碍.
• 大型语言模型 (LLM) 展示了自然语言处理和文本生成的潜力,为数据输入挑战提供了解决方案.

研究的目的:

• 通过运营报告评估LLM在填充VQI程序数据库中的准确性.
• 评估使用生成人工智能的可行性,以简化血管外科手术质量计划的数据输入.

主要方法:

• 一项回顾性研究分析了150份手术报告,涉及 carotid endarterectomy (CEA),内血管动脉瘤修复 (EVAR) 和下下肢绕道 (LEB) 程序.
• 使用符合HIPAA的LLM (基于ChatGPT的Versa) 来自动提取和填充报告中的VQI数据.
• 两个模型的准确性,gpt-35-turbo和gpt-4,与现有的VQI数据进行了比较,如果在不到20%的报告中讨论,则被定义为"不可用"的指标.

主要成果:

• 在gpt-35-turbo模型中,CEA的平均准确率为84.0%,EVAR为92.2%,LEB为84.3%.
• 除了常规不可用的指标外,准确性增加到CEA的95.5%,EVAR的94.8%,LEB的93.2%.
• 与gpt-35-turbo相比,gpt-4的性能没有显著提高,处理成本也很低 (gpt-35-turbo的0.12美元对gpt-4的3.39美元对150个报告).

结论:

• 低成本的LLM可以准确地以结构化和非结构化数据填充VQI数据库.
• 通过LLM提高工作流程效率可能会提高中心参与VQI的能力.
• 需要进一步的研究来探索其他VQI数据库,并提高外科数据管理的LLM准确性.