ATD:改进的变压器与适应性令牌字典用于图像恢复
概括
我们介绍了自适应令牌字典 (ATD),这是一个用于图像恢复的新型变压器架构. ATD使线性复杂度高效的全球依赖性建模成为可能,在超分辨率和无声化方面取得了最先进的结果.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 变压器在图像恢复方面出色,但面临着计算方面的挑战.
- 在现有模型中,自我注意的二次复杂性限制了受感场.
研究的目的:
- 开发一个基于变压器的图像恢复模型,具有线性复杂性.
- 为了提高性能,实现有效的全球依赖性建模.
主要方法:
- 拟议的自适应令牌词典 (ATD) 提供可学习的令牌词典.
- 引入了代币字典交叉注意力 (TDCA) 进行功能增强.
- 使用的类别信息用于特征分组和feed-forward网络集成.
主要成果:
- 在超分辨率基准上,ATD和ATD-light实现了最先进的性能.
- ATD-U在图像无色化和JPEG文物删除方面表现出有效性.
- 模型显示了大量的定量和质量改进.
结论:
- ATD为基于变压器的图像恢复提供了一种高效的解决方案.
- 提出的方法有效地模拟全球依赖关系,并增强特征融合.
- 在各种图像修复任务中,ATD变体非常通用.
