大型语言模型的现实应用,用于使用非结构化妇科瘤学报告的自动TNM分期

科学领域:

• 在瘤学瘤学.
• 医疗信息学 医疗信息学
• 人工智能的人工智能

背景情况:

• 在癌症登记册中手动输入数据是劳动密集型的,容易出现错误.
• 针对癌症数据的大型语言模型 (LLM) 的现有研究通常需要预处理或微调数据,从而限制了现实世界的临床使用.

研究的目的:

• 仅使用快速工程来评估用于TNM分类的易用LLM的性能.
• 在没有数据匿名化或模型微调的情况下,评估LLM在临床癌症注册表中的实际适用性.

主要方法:

• 通过使用快速工程进行TNM分类,评估了准备好的LLM (Gemini 1.5,Qwen2.5 72B).
• 在妇科癌症注册 (5.5-17.0%) 中分析了手动错误率.
• 将LLM性能与病理T,N和临床M阶段提取的手动数据输入进行比较.

主要成果:

• 在癌症登记册中发现了大量手动数据输入错误.
• 基于云的Gemini 1.5实现了T阶段 (0.994) 和N阶段 (0.993) 的精度.
• 当地Qwen2.5 72B模型显示T阶段 (0.971) 和N阶段 (0.923) 的精度.
• 两种模型都显示出临床M分类 (0.909和0.895) 的高精度.

结论:

• 准备就绪的LLM,具有快速的工程,可以有效地执行TNM分类,超过手动数据输入的准确性.
• 该方法为改善临床癌症登记处数据完整性提供了实用,高效的解决方案.
• 该方法与现实世界的临床工作流程保持一致,促进在注册管理中采用LLM.