MAFMamba：高解像度リモートセンシング画像セマンティックセグメンテーションのためのマルチスケール適応型フュージョンネットワーク

科学分野:

• コンピュータビジョン
• リモートセンシング
• 人工知能

背景:

• 高解像度リモートセンシング画像は、地理空間情報取得に不可欠です。
• 現在のセマンティックセグメンテーションモデルは、スケールの変動と微細なディテールの保持に苦労しています。
• 課題には、ぼやけた境界、小さなオブジェクトの損失、多様なオブジェクトの外観のモデリングが含まれます。

研究 の 目的:

• 高解像度リモートセンシング画像セグメンテーションのためのマルチスケール適応型フュージョンビジョンマンバネットワークであるMAFMambaを導入すること。
• グローバルコンテキストとローカルディテールを捉え、極端なスケールの変動をモデル化する際の限界に対処すること。
• 複雑なリモートセンシングシーンにおけるセマンティックセグメンテーションの精度と効率を向上させること。

主な方法:

• 適応型マルチスケールマンバブロック（AMMB）とマルチスケール適応型フュージョン（MSAF）を備えた軽量ハイブリッドエンコーダーを開発し、堅牢なマルチスケール表現を実現しました。
• デコーダーにグローバル・ローカル特徴量エンハンスメントマンバ（GLMamba）を導入し、畳み込みローカル特徴量とVSSグローバル依存関係のバランスを取りました。
• エンコーダーとデコーダーの特徴量間のセマンティックギャップを橋渡しするために、マルチスケールクロスアテンションフュージョン（MSCAF）モジュールを提案しました。

主要な成果:

• MAFMambaは、ISPRSポツダムおよびファイヘンゲンデータセットにおいて、mIoUおよびmF1スコアで最先端のCNN、Transformer、およびMambaベースの手法を上回りました。
• 高解像度リモートセンシング画像のセマンティックセグメンテーションにおいて、優れた精度を達成しました。
• 線形計算複雑性と低メモリ使用量を示し、高い効率を示しました。

結論:

• MAFMambaは、リモートセンシング画像セグメンテーションにおけるスケールの変動と、ローカルディテールとグローバルセマンティクスの間のトレードオフを効果的に解決します。
• 提案されたアーキテクチャは、正確で効率的な地理空間情報取得のための重要な進歩を提供します。
• MAFMambaは、正確なオブジェクトの区切りを必要とする複雑なリモートセンシングシナリオに有望なソリューションを提供します。