ECMNet: 効率的なCNN-Mambaネットワークによる軽量セマンティックセグメンテーション

科学分野:

• コンピュータビジョン
• ディープラーニング
• 人工知能

背景:

• 畳み込みニューラルネットワーク（CNN）とトランスフォーマーはセマンティックセグメンテーションで広く使用されていますが、グローバルコンテキストモデリングに苦労しています。
• Mambaは、既存モデルの限界に対処し、長距離依存関係のモデリングにおいてビジョンタスクで有望視されています。

研究 の 目的:

• セマンティックセグメンテーションのための軽量で効率的なCNN-Mambaネットワーク（ECMNet）を提案すること。
• CNNとMambaの長所を組み合わせ、特徴表現とコンテキストモデリングにおけるそれぞれの弱点を克服すること。

主な方法:

• CNNとMambaを統合したカプセルベースのフレームワークであるECMNetを開発しました。
• 軽量ボトルネックのための強化されたデュアルアテンションブロックを設計しました。
• 特徴集約のためのマルチスケールアテンションユニット（マルチスケール、空間、チャネル）を考案しました。
• セグメンテーション精度の向上のためにMamba強化特徴融合モジュールを実装しました。

主要な成果:

• ECMNetは精度と効率のバランスを達成します。
• Cityscapesテストデータセットで70.6%のmIoU、CamVidテストデータセットで73.6%のmIoUを達成しました。
• モデルは0.87Mパラメータと8.27G FLOPsを持ち、効率性を示しています。

結論:

• ECMNetは、セマンティックセグメンテーションのための長距離依存関係を効果的にモデリングし、特徴表現を強化します。
• 提案されたネットワークは、セマンティックセグメンテーションタスクに競争力があり効率的なソリューションを提供します。
• ソースコードは、さらなる研究と応用に利用可能です。