MSCT-UNET:用于医疗图像细分的U形网络中的多尺度对比变压器
Heran Xi1, Haoji Dong2, Yue Sheng2
1School of Electronic Engineering, Heilongjiang University, Harbin, 150001, People's Republic of China.
Physics in medicine and biology
|December 7, 2023
概括
本研究介绍了MSCT-UNET,这是一个混合网络,结合了卷积神经网络 (CNN) 和变压器,以改善解剖图像中的多器官细分. 这种新的方法提高了疾病诊断和治疗规划,通过有效地捕捉全球背景和细微细节.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 自动的多器官细分对于医学诊断和治疗规划至关重要.
- 具有编码器-解码器架构的U形神经网络 (UNets) 在细分方面表现出色,但在远程依赖性 (CNNs) 或像素级细节 (变压器) 上扎.
研究的目的:
- 开发一个混合网络,MSCT-UNET,克服纯CNN和多器官细分转换器的局限性.
- 通过融合多尺度CNN和变压器功能,并结合多任务对比学习来提高细分性能.
主要方法:
- 拟议的MSCT-UNET,一种混合网络,将CNN和变压器功能融合在多个尺度上.
- 实现了交叉融合块,以深入整合低级别和高级别的功能.
- 引入多任务对比式学习 (全球自我监督和本地监督) 以提高网络代表性.
- 在解码器中使用变压器来改进细分图.
主要成果:
- 与现有方法相比,MSCT-UNET在ACDC,Synapase和BraTS数据集上表现出优异的性能.
- 废除研究证实了拟议的混合架构和多任务对比学习的有效性.
- 该网络成功地捕获了多个规模的远程依赖关系和细微细节.
结论:
- MSCT-UNET有效地整合了全球背景和当地细节,以准确地分类多个器官.
- 混合方法和对比学习显著提高了细分能力.
- 这种方法为临床应用中的医学图像分析提供了有前途的进步.
