图像雨水清除网络基于棋盘变压器和CNN混合机制
Yutian Yang1, Jianyu Lin2, Xinyue Dai1
1College of Computer Science and Technolog, Civil Aviation University of China, Tianjin, China.
PloS one
|May 16, 2025
概括
一个新的混合网络,ChessFormer,通过结合变压器和卷积神经网络 (CNN) 的优势,有效地从单个图像中去除雨水. 这种新的方法以更少的参数实现了最先进的结果.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 单个图像的降雨是计算机视觉中的一个具有挑战性的任务.
- 现有的方法往往难以平衡全球上下文建模和本地特征提取.
研究的目的:
- 提出一个新的混合网络,ChessFormer,以实现高效和有效的单一图像去雨.
- 利用变压器和卷积神经网络 (CNN) 的互补优势.
主要方法:
- 开发了ChessFormer,这是一个混合网络,将Transformer和CNN集成到一个棋盘架构中.
- 实施了多层次的特征提取和渐进特征融合战略.
- 引入了多维转移注意力 (MSTA) 来增强特征融合.
主要成果:
- 在多个基准数据集上,ChessFormer表现出比现有方法更高的性能.
- 在图像清除中实现了最先进的定量指标和视觉质量.
- 拟议的网络是高效的,需要更少的参数.
结论:
- ChessFormer提供了一种强大而高效的解决方案,用于单个图像的降雨.
- 混合架构有效地利用全球和本地特征提取能力.
- 该MSTA机制增强了不同雨模式和图像纹理的融合.
