利用大型语言模型从病理学报告中提取结构化信息

科学领域:

• 计算病理学计算病理学
• 自然语言处理自然语言处理.
• 医疗信息学 医疗信息学

背景情况:

• 从非结构化组织病理学报告中提取结构化信息对于临床研究数据的可访问性至关重要.
• 手动提取是耗时的,并限制了可扩展性.
• 大型语言模型 (LLM) 通过零射击提示提供自动提取,不需要标记数据或培训.

研究的目的:

• 评估LLM在从乳腺癌组织病理学报告中提取结构化信息的准确性.
• 为了比较LLM性能与由训练有素的人类注释器手动提取.

主要方法:

• 开发了医疗报告信息提取器网络应用程序,使用LLMs.
• 创建了一个用于评估的黄金标准数据集.
• 评估了五个LLM,包括GPT-4o和Llama 3模型,对111个乳腺癌组织病理学报告进行评估,提取了51个病理学特征.

主要成果:

• 拉玛3.1 405B (94.7%的准确率) 和GPT-4o (96.1%) 的准确率与人类注释器 (95.4%) 的准确率相当.
• 拉玛 3.1 70B (91.6%) 的性能低于人类的准确性,但由于计算需求较低,提供了可行的自主托管选项.

结论:

• 一种用于结构化信息提取的开源工具使用最先进的LLM实现了专家人类水平的准确性.
• 该工具可以通过自然语言进行自定义,并促进数据标准化,可访问性和分析的互操作性.