医疗图像分割的双尺度转移窗口注意力网络
De-Wei Han1, Xiao-Lei Yin2, Jian Xu1
1School of System Design and Intelligent Manufacturing, Southern University of Science and Technology, 1088 Xueyuan Boulevard, Nanshan District, Shenzhen, 518055, China.
Scientific reports
|July 31, 2024
概括
本研究介绍了一种使用双尺寸转移窗口来改善图像细分的双尺寸变压器. 这种新的方法提高了图像补丁之间的信息流,实现了最先进的结果.
科学领域:
- 计算机视觉 计算机视觉
- 深度学习 (Deep Learning) 是一种深度学习.
- 图像细分 图像细分
背景情况:
- 变压器在计算机视觉方面提供了出色的性能,但在计算上可能很复杂.
- 斯温变压器中的基于窗口和基于移动窗口的自我注意机制旨在减少这种复杂性.
- 优化补丁信息通信是提高变压器在视觉任务中的效率的关键.
研究的目的:
- 提出一个双尺度变压器与双大小的转移窗口注意力方法.
- 调查不同移动窗口大小对补丁信息通信效率的影响.
- 通过改进变压器网络中的信息流来提高图像细分性能.
主要方法:
- 开发了一个双尺度变压器架构,结合了双大小的转移窗口注意.
- 与基于CNN的 (U-Net,AttenU-Net,ResU-Net,CE-Net) 和单个规模的Swin变压器 (SwinT) 模型对比,对拟的方法进行了评估.
- 进行了废除研究,以分析窗口尺寸转移对信息流和细分性能的影响.
主要成果:
- 双尺度变压器显著超过了基于CNN的方法3%-6%和单尺度旋转变压器约1%.
- 在Kvasir-SEG,ISIC2017,MICCAI EndoVisSub-Instrument和CadVesSet数据集上取得了最先进的细分结果.
- 证实,双尺度的转移窗口注意力提高了补丁信息通信和细分精度.
结论:
- 拟议的双尺度转移注意力窗口是一种针对图像细分的优化网络设计.
- 这种方法有效地改善了信息流,从而提高了细分性能.
- 网络架构设计在基于变压器的模型中显著影响视觉性能.
