路径-BigBird:一种人工智能驱动的变压器方法来分类癌症病理报告报告

科学领域:

• 自然语言处理自然语言处理.
• 计算病理学计算病理学
• 在瘤学瘤学.

背景情况:

• 手术病理学报告对于癌症诊断和治疗决策至关重要.
• 从这些报告中准确及时提取瘤特征对于有效的癌症管理至关重要.
• 目前的信息提取方法可能无法完全捕捉病理学数据的细微差别.

研究的目的:

• 探索特定领域的变压器模型对从癌症病理学报告中提取瘤特征的影响.
• 开发和评估一个专门的变压器模型,Path-BigBird,用于病理学报告分析.
• 将Path-BigBird的性能与现有的分类和临床变压器模型进行比较.

主要方法:

• 开发了Path-BigBird,这是一个在SEER癌症注册表中的270万病理学报告上训练的变压器模型.
• 将Path-BigBird变异与等级自我注意网络 (HiSAN) 和临床BigBird模型进行比较.
• 评估了五项信息提取任务的模型:网站,子网站,横向性,组织学和行为,使用宏观和微观F1分数.

主要成果:

• 在所有评估任务中,Path-BigBird和Clinical BigBird的表现都超过了HiSAN.
• 在具有挑战性的亚站点和组织学提取任务中,Path-BigBird表现出卓越的性能.
• Path-BigBird实现了显著的性能提升,特别是在组织学提取方面,比HiSAN提高了微F11.44分,宏F13.55分.

结论:

• 该Path-BigBird模型增强了从病理学报告中自动提取信息的功能.
• 像Path-BigBird这样的特定领域模型为复杂的病理学数据提供了更高的准确性.
• 像临床BigBird和HiSAN这样的较少计算密集型模型在资源受限的设置中保留了实用性.