混合残留变压器用于体积医疗图像分割
概括
一种新的混合残留变形器 (HResFormer) 模型通过融合2D和3D数据来增强3D医疗图像细分. 这种方法提高了解剖学的理解,并在细分任务中优于现有的方法.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 视觉转换器通过捕获远程依赖,在医学图像细分方面表现出色.
- 目前的3D医疗图像细分方法要么基于2D,忽视切片内部信息,要么基于3D,面临高计算成本和有限的特征表示.
- 放射科医生使用轴向和冠状平面用于3D解剖学理解.
研究的目的:
- 开发一种用于3D医学图像细分的混合模型,该模型将细粒度内切片信息与3D上下文理解相结合.
- 引入混合剩余变形器 (HResFormer) 模型,以解决现有细分方法的局限性.
主要方法:
- 拟议的HResFormer模型集成了标准的2D和3D变压器骨干.
- 一个新的混合本地-全球融合模块 (HLGM) 可自适应地融合2D (内部切片) 和3D (内切片) 信息,以提供全面的特征表示.
- 剩余学习被用来有效地利用融合的信息,以改善3D解剖学的理解.
主要成果:
- HResFormer在医疗图像细分基准上与现有方法相比表现优越.
- 该模型成功地捕获了当地的细粒度细节和全球远程依赖关系.
- 2D和3D信息的有效融合导致了细分精度的提高.
结论:
- HResFormer模型为3D医疗图像细分提供了一种新且有效的方法.
- 融合二维和三维信息的混合模型代表了改善细分精度和解剖学理解的有希望的方向.
- 这项工作突出了设计变压器在3D医学成像中的未充分利用的策略.
