MHWT:使用窗口变压器进行广泛的注意力建模,用于多模态MRI重建

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 斯温变压器在特征建模方面表现出色,但由于其固定的窗口大小,在磁共振图像重建中面临着高分辨率图像和远程依赖性的局限性.
• 捕获本地和全球依赖关系对于准确的磁共振图像重建至关重要.

研究的目的:

• 提出一款新的多式混合窗口注意力变压器 (MHWT),以解决现有变压器在高分辨率磁共振图像重建方面的局限性.
• 增强模型捕捉本地和全球依赖性的能力,以获得更高的重建性能.

主要方法:

• 在变压器架构中引入了可收缩的注意力机制和可变形的窗户设计.
• 实施了可变和转移窗口注意力策略,用于灵活建模本地和全球依赖关系.
• 优化了变压器编码器,对正常化和注意力得分计算进行了调整,以提高训练稳定性.

主要成果:

• 拟议的MHWT方法在跨多个公共数据集的磁共振图像重建中,与最先进的方法相比,表现优越.
• 在单模和多模重建场景中取得了显著的改进.
• 展示了增强的图像重建能力和适应性,验证了新型注意力机制的有效性.

结论:

• MHWT模型有效地克服了变压器中固定窗口大小的局限性,用于高分辨率的磁共振图像重建.
• 新的注意力机制和架构改进导致了最先进的性能和在医学图像重建任务中更大的适应性.
• 公开可用的代码有助于进一步研究和应用这种先进的重建技术.