MultiTrans:用于医疗图像细分的多分支变压器网络
相关实验视频
Updated: Jun 23, 2025
04:48
Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique
Published on: July 5, 2024
386
Yanhua Zhang1, Gabriella Balestra2, Ke Zhang3
1Department of Electronics and Telecommunications, Politecnico di Torino, Corso Duca degli Abruzzi 24, Turin, 10129, Italy; School of Astronautics, Northwestern Polytechnical University, 127 West Youyi Road, Xi'an, 710072, China.
Computer methods and programs in biomedicine
|June 15, 2024
概括
本研究介绍了MultiTrans,这是一个高效的变压器架构,用于医疗图像细分. 它通过有效处理高分辨率特征并聚合多个规模的全球和本地信息来实现卓越的准确性.
科学领域:
- 医学图像分析 医学图像分析
- 深度学习 (Deep Learning) 是一种深度学习.
- 计算机视觉 计算机视觉
背景情况:
- 卷积神经网络 (CNN) 主导医疗图像细分,但与全球背景作斗争.
- 变压器提供全球上下文,但在计算上是低效的,通常需要降低采样或基于补丁的处理.
- 补丁智能操作限制了变压器在捕获细粒度,像素级细节方面,这对于细分至关重要.
研究的目的:
- 为医疗图像细分中的变压器开发一种内存和计算效率高的自我注意模块.
- 设计一种新的多分支变压器 (MultiTrans) 架构,能够处理多尺度的特征.
- 改善医疗图像中全球背景和精细空间细节的提取.
主要方法:
- 提出了一个有效的自我注意 (ESA) 模块,以使得对高分辨率特征的推理.
- 引入了多分支变压器 (MultiTrans) 架构,在不同的CNN级别上有四个并行变压器分支.
- 通过混合CNN-变压器方法聚合多个规模的全球背景和多个规模的本地特征.
主要成果:
- 在三种不同的医疗图像数据集 (Synapse,ACDC,M&Ms) 中,MultiTrans实现了最高的细分精度.
- 与标准自我注意力 (SSA) 相比,提出的高效自我注意力 (ESA) 显著降低了训练记忆 (18.77%) 和计算复杂性 (20.68% FLOP).
- 欧元局保持或略提高了细分精度,同时大幅减少了模型参数 (74.07%的减少).
结论:
- 多传输网络在医疗图像细分任务上表现出强大且可通用的性能.
- 废弃性研究证实了提议的高效自我照顾 (ESA) 模块的效率和有效性.
- 开发的架构解决了现有方法的局限性,为医疗图像细分提供了更有效,更准确的解决方案.
