对大型语言模型进行全面测试,以提取病理学中的结构化数据

科学领域:

• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.
• 计算病理学计算病理学

背景情况:

• 病理学部门在诊断报告中产生大量的非结构化文本数据.
• 对这些数据进行人工智能和分析的手动结构是劳动密集型和昂贵的.
• 现有的解决方案通常依赖于专有语言模型,这给隐私和成本带来了挑战.

研究的目的:

• 评估开源语言模型在从病理学报告中提取结构化数据方面的性能.
• 将开源模型与GPT-4等专有模型进行比较.
• 调查快速工程和模型量化对实际部署性能的影响.

主要方法:

• 创建了一个双语数据集,包括579份注释的德语和英语病理学报告.
• 六个语言模型 (GPT-4,Llama2,Llama3,Qwen2.5) 进行了测试,以提取11个关键参数.
• 分析了快速工程策略和量子化技术,以确定部署的可行性.

主要成果:

• 开源语言模型在数据提取方面实现了高精度,与GPT-4相比.
• 模型性能根据特定的模型,提示策略和量化方法有很大的不同.
• 这些因素对于优化病理学环境中的实际部署至关重要.

结论:

• 开源语言模型为结构化病理学数据的专有解决方案提供了可行,高性能的替代方案.
• 这项研究为医疗机构提供了一种具有成本效益和隐私意识的方法.
• 这些发现和公共数据集为未来的计算病理学研究和开发提供了宝贵的见解.