将基础模型特征集成到图形神经网络中,并将预测与标准微调模型融合为组织学图像分类
Nematollah Saeidi1, Nima Torbati1, Ramona Woitek1
1Research Center for Medical Image Analysis and Artificial Intelligence, Department of Medicine, Faculty of Medicine and Dentistry, Danube Private University, 3500 Krems an der Donau, Austria.
Bioengineering (Basel, Switzerland)
|December 30, 2025
概括
基础模型增强了图形神经网络 (GNN) 的基因病理图像分类,优于传统方法. 将GNN和微调模型与预测融合策略相结合,可以获得更高的诊断准确性.
科学领域:
- 计算病理学计算病理学
- 医学中的人工智能
- 机器学习用于组织病理学.
背景情况:
- 组织病理图像分类对于疾病诊断至关重要.
- 卷积神经网络 (CNN) 和视觉转换器 (ViT) 是常见的,但受到预训练数据集的限制.
- 图形神经网络 (GNN) 提供了一个替代方案,但需要有效的特征提取.
研究的目的:
- 为了评估GNN的性能,使用基础模型来评估在组织病理学中的特征提取.
- 将GNN与基础功能与微调的CNN和ViTs进行比较.
- 研究一种结合GNN和微调模型输出的预测融合策略.
主要方法:
- 集成基础模型作为轻量级GNN架构中的特征提取器.
- 与标准微调的CNN和ViT模型相比,GNN与基础特征进行了比较.
- 实施了预测融合方法,将最好的GNN和微调模型的输出结合起来.
主要成果:
- 使用基础模型特征的GNN表现优于使用CNN或ViT特征的GNN.
- 具有基础特征的GNN的性能与标准微调的CNN和ViT模型相美.
- 预测融合策略在三个数据集中实现了最高的整体性能.
结论:
- 基础模型显著提高了GNN在组织病理图像分析中的性能.
- 结合互补表示的预测融合策略为增强分类准确性提供了强大的方法.
- 拟议的方法在PanNuke,BACH和BreakHis等公共数据集上显示出高效率.
