HMDA:一种混合模型,具有多尺度可变形的注意力,用于医疗图像分割

科学领域:

• 医学图像分析 医学图像分析
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 卷积神经网络 (CNN) 在医学成像中与全球特征提取作斗争.
• 变压器提供远程建模,但在高维数据方面可能会在计算上冗余.
• 将CNN的当地细节与"变形金刚"的全球背景整合起来是一项挑战.

研究的目的:

• 开发一个改进的医疗图像细分模型,解决现有的CNN和变压器架构的局限性.
• 增强模型专注于突出图像区域的能力,并有效地集成多尺度特征.

主要方法:

• 提出了一个混合变压器和CNN架构 (HMDA).
• 引入了多尺度空间适应可变形注意力 (MSADA) 机制,以集中注意力在关键采样点上.
• 开发了一个交叉注意力桥 (CAB) 模块,通过通道间交叉注意力集成多级变压器和本地CNN功能.

主要成果:

• 在多个医疗图像细分数据集中,HMDA证明了有效性.
• 拟议的MSADA机制提高了关注效率,并专注于突出的地区.
• CAB模块通过整合各种特征类型,成功丰富了特征合成.

结论:

• HMDA架构为医疗图像细分提供了一个有前途的方法,优于以前的方法.
• 新的注意力和功能集成机制有助于增强细分性能.
• 这种混合方法有效地平衡了医疗成像任务的本地和全球特征提取.