Stagger网络:重新思考医疗图像细分中的信息丢失,使用各种尺寸的目标
Tianyi Liu1, Zhaorui Tan2, Haochuan Jiang3
1School of Robotics, XJTLU Entrepreneur College (Taicang), Xi'an Jiaotong-Liverpool University, 111 Taicang Road, Taicang, Suzhou, 215123, Jiangsu, China; Department of Computer Science, University of Liverpool, Brownlow Hill, Liverpool, L697ZX, United Kingdom.
概括
本研究介绍了用于医疗图像细分的Stagger网络 (SNet),通过融合卷积神经网络 (CNN) 和视觉转换器 (ViT) 功能,有效处理各种目标大小. SNet 尽量减少信息丢失,在多个数据集上表现优于其他方法.
科学领域:
- 医疗图像分析 医学图像分析
- 计算机视觉 计算机视觉 计算机视觉
- 用于医学成像的深度学习
背景情况:
- 医疗图像细分需要模型来捕获本地和全球信息,特别是不同大小的目标.
- 目前的CNN和ViT方法难以平衡多尺度目标检测,往往导致由于特征分布的分歧而导致大量信息丢失.
研究的目的:
- 引入一种新的Stagger网络 (SNet),旨在减轻医疗图像细分中的信息丢失.
- 开发一种融合结构,有效地平衡来自CNN和ViT的本地和全球特征提取,以改善多尺度细分.
主要方法:
- 提出了一种新的Stagger网络 (SNet),结合并行模块来弥合CNN和ViT功能之间的语义差距.
- 引入了一个Stagger模块,用于融合语义上相似的特征,以及一个信息恢复模块,以恢复补充信息.
- 理论上分析了并行和分阶段策略,以证明减少了信息丢失.
主要成果:
- 与最先进的方法相比,拟议的SNet在Synapse数据集上对不同规模的目标进行细分方面表现出卓越的表现.
- 此外,SNet在ACDC和MoNuSeg数据集上也表现出优势,这些数据集具有更一致的目标.
结论:
- 通过智能融合CNN和ViT功能,SNet有效地解决了多规模医疗图像细分的挑战.
- 拟议的融合策略显著减少了信息丢失,从而提高了跨数据集的细分精度,具有多样化的目标大小变化.
