使用NLP与LLM集成用于通过自动化图表审查提取相关临床数据的新型AI框架的开发和验证

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 脊柱手术研究 脊柱手术研究

背景情况:

• 电子健康记录 (EHR) 的手动图表审查 (MCR) 用于外科数据提取是复杂的,耗时的,容易出现人为错误.
• 精确提取脊柱手术数据对于研究,质量改进和临床决策至关重要.
• 现有的从操作笔记中提取数据的方法受限于人工努力和潜在的不准确性.

研究的目的:

• 开发和验证一种与大型语言模型 (LLM; GPT4-Turbo) 集成的新型自然语言处理 (NLP) 算法.
• 为了自动地从EHR中提取特定的脊柱手术数据,包括手术类型,操作的水平,切除的磁盘和硬度切除.
• 与手动方法相比,评估自动NLP+LLM方法的效率,准确性和成本效益.

主要方法:

• 开发了一个两阶段的算法:一个初始的基于规则的NLP框架用于分段分类,然后进行LLM (GPT4-Turbo) 验证.
• 该算法处理了来自电子健康记录 (EHR) 的操作笔记.
• 在两个验证数据库上使用准确度,灵敏度,区分,F1得分和精度来评估性能,可使用95%的置信区间.

主要成果:

• 与传统方法相比,NLP+LLM算法在所有关键指标上都表现出卓越的性能.
• 观察到时间效率和成本降低的显著改善.
• 在提取详细的脊柱外科手术数据方面实现了高精度.

结论:

• 集成的NLP+LLM算法提供了一个高度准确和高效的解决方案,用于自动化脊柱外科手术从EHR中提取数据.
• 这项技术有可能克服手动图表审查的局限性,减少错误和资源负担.
• 这种自动化方法的广泛采用可以显著推进脊柱手术研究和临床实践.