生成型人工智能用于从非结构化医学文本中自动提取数据

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 临床数据提取

背景情况:

• 非结构化临床笔记,就像右心导管注射 (RHC) 程序笔记一样,包含有价值的数据,但由于手工提取的挑战,这些数据未得到充分利用.
• 从这些笔记中自动提取数据对于提高研究效率和临床应用至关重要.

研究的目的:

• 开发和验证一种生成人工智能 (GenAI) 管道,用于从非结构化的RHC笔记中自动提取数据.
• 为了尽量减少错误,包括幻觉,在数据提取使用一个大型语言模型 (LLM) 与内置的护和重试机制.

主要方法:

• 通过使用开源的LLM开发了一个GenAI管道,结合了一个工程预加载框架 (EPF) 与图表和说明.
• 该管道包括一个具有推理能力的LLM模块,以及用于自我纠正的验证/重试机制.
• 性能与200个RHC笔记中的手动提取的基准真相相对比,使用精度,回忆和F1分数来评估.

主要成果:

• GenAI的管道实现了99.0%的精度,85.0%的回忆率和91.5%的F1得分,整体笔记级准确率为90%.
• 错过值是最常见的错误 (5.2%),幻觉是最小的 (<0.01%).
• 管道在不同的数据可用性级别中表现出强的性能.

结论:

• 展示了一个可行的和强大的GenAI管道,用于从非结构化的RHC笔记中自动提取结构化数据.
• 这种方法突显了LLM在有效的医疗数据挖掘,增强研究和临床实践方面的潜力.