MFMamba:一个基于Mamba的多模式融合网络,用于远程传感图像的语义细分
1School of Electrical and Electronic Engineering, Wuhan Polytechnic University, Wuhan 430023, China.
Sensors (Basel, Switzerland)
|November 27, 2024
概括
基于Mamba的新型网络MFMamba增强了远程传感图像的语义细分. 它有效地融合了多模式数据,比现有方法提高了准确性和效率.
科学领域:
- 计算机视觉 计算机视觉
- 遥感 遥感 遥感 遥感
- 地理空间分析的研究.
背景情况:
- 遥感图像的语义细分对于土地覆盖,环境和城市规划至关重要.
- 多模式融合模型的性能优于单模式模型,但往往在远程建模或计算成本方面扎.
- 现有的基于卷积神经网络 (CNN) 和视觉变压器 (ViT) 的融合方法存在局限性.
研究的目的:
- 介绍MFMamba,一个基于Mamba的多模式融合网络,用于遥感语义细分.
- 解决当前融合技术的远程建模能力和计算复杂性的局限性.
- 利用Mamba的双分支编码来实现增强的全球特征提取.
主要方法:
- 提出一个双分支编码结构:CNN主编码器用于高分辨率遥感图像 (HRRSIs) 和Mamba辅助编码器用于数字表面模型 (DSM).
- 设计一个特征融合块 (FFB) 来实现双分支的协同功能增强和集成.
- 利用Mamba的功能来实现高效的全球特征捕获,并利用CNN来进行本地特征提取.
主要成果:
- 在Vaihingen和Potsdam数据集上,MFMamba表现出卓越的性能.
- 与最先进的方法相比,实现了更高的整体准确性 (OA),平均F1得分 (mF1) 和平均跨境交叉点 (mIoU).
- 保持低的计算复杂性,同时实现高的细分精度.
结论:
- MFMamba有效地集成多模式遥感数据,以改善语义细分.
- 基于Mamba的方法为高效和准确的遥感图像分析提供了有希望的方向.
- 在遥感应用中,MFMamba为语义细分设定了新的基准.
