基于变压器和物理先验的飞行视图图像的除尘方法

科学领域:

• 计算机视觉 计算机视觉
• 图像处理 图像处理
• 人工智能的人工智能

背景情况:

• 现有的dehazing算法在实际的空中驾驶环境中扎着局部扭曲和不完整的全球dehazing.
• 由于大气条件的变化,空中环境对图像脱雾具有独特的挑战.

研究的目的:

• 为了提出一个强大的两阶段除气方法,PhysiFormer,适用于真实的空中驾驶环境.
• 改进在模糊图像中恢复本地细节和全球上下文.
• 为了增强自然性和减少艺术品在dehazed图像.

主要方法:

• 一种两阶段的方法,将物理预先的知识与基于变压器的模型 (PhysiFormer) 结合起来.
• 阶段1:使用合成数据进行预训练,并使用金字塔聚合模块 (PPM) 进行多级特征提取和全球上下文融合机制.
• 第1阶段还涉及编码解码结构,用于通过余块估计大气光,用于大气散射模型.
• 第2阶段:使用真实空中图像和物理先验进行微调以优化.

主要成果:

• 在自然性图像质量评估器 (NIQE) 和盲人/无引用图像空间质量评估器 (BRISQUE) 索引方面,PhysiFormer取得了卓越的表现.
• 在密集,不均和真实雾图像上表现出最好的除雾视觉效果.
• 有效地缓解了色彩扭曲和雾残留问题.

结论:

• 在空中驾驶图像处理方面,PhysiFormer提供了显著的进步.
• 该方法成功地克服了复杂的空中环境中现有算法的局限性.
• 拟议的方法提高了关键飞行操作的图像质量和视觉真实性.