一个轻量级的多模式医疗图像语义细分网络,基于新的UNeXt和Wave-MLP
Yi He1, Zhijun Gao1, Yi Li1
1School of Computer and Information Engineering, Heilongjiang University of Science and Technology, Heilongjiang 150022, PR China.
概括
本研究介绍了一种轻量级的UNeXt网络用于医疗图像细分,提高准确性并使用动态聚合令牌和注意力门来降低计算复杂性. 该模型在COVID-19 CT和BraTS 2018 MRI数据集上显示出卓越的性能.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 医疗图像中疾病区域的准确细分是具有挑战性的,因为大小和形状的变化.
- 结合卷积神经网络 (CNN) 和多层感知器 (MLP) 进行依赖性建模,可能导致高计算复杂性.
研究的目的:
- 为医疗图像提出一个独特的,轻量级的UNeXt网络细分模型.
- 通过动态聚合令牌和注意力机制,提高细分精度并降低计算成本.
主要方法:
- 引入了来自Wave-MLP的Wave Block模块,以取代UNeXt中的Tok-MLP模块,用于动态令牌聚合.
- 在跳过连接中内置了注意力门 (AG) 模块,以减少无关的功能和计算负载.
- 利用焦点Tversky损失来处理二进制和多重分类任务.
主要成果:
- 在COVID-19 CT上获得了高的子得分 (0.928),在BraTS 2018 MRI上获得了0.933-0.918) 和IoU得分 (0.940在COVID-19 CT上).
- 证明了计算复杂度降低,GFLOP为0.52和参数为0.76.76.
- 与公开数据集上的现有方法相比,显示出更高的细分精度和效率.
结论:
- 拟议的轻量级UNeXt网络有效地对医疗图像进行细分,以提高准确性和降低计算复杂性.
- 动态聚合令牌和注意力门是提高细分性能和效率的关键组成部分.
- 该模型的轻量化性质和强大的性能使其成为临床应用的有希望的工具.
