混合注意力优化了对图像超分辨率的层次多尺度变压器架构

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 变压器架构在图像超分辨率 (SR) 中表现有希望.
• 现有的模型在局部特征建模和特征表示方面扎,阻碍了高分辨率 (HR) 图像中的细节恢复.

研究的目的:

• 为了解决当前基于变压器的SR模型的局限性.
• 为改进局部特征交互和细节重建提出一种新的架构.

主要方法:

• 介绍了带有混合注意力的层次多级变压器架构 (HMT).
• 开发了用于跨域特征协作和远程依赖模型的福里埃·曼巴协同效应 (FMSA) 模块.
• 集成的动态卷积注意力 (DCA) 用于多尺度的功能增强和实例重量调整.

主要成果:

• 在BSD100和Manga109数据集上,HMT表现出卓越的性能,在PSNR中超过了HGFormer的0.07dB和0.08dB,在BSD100和Manga109数据集上的4x缩放因子.
• 在公共数据集的客观指标和视觉质量方面取得了显著的改进.
• 拟议的架构有效地捕捉了细粒度的局部特征交互,以产生更清晰的细节.

结论:

• HMT架构为图像超分辨率提供了增强的功能.
• 它有效地解决了当地的特征建模和现有变压器模型中有限的代表性的问题.
• 结果表明,产生高质量,详细的高分辨率图像的潜力很大.