V-D-T Few-Shot セマンティックセグメンテーションのためのスケールインヴァリアントフィーチャーマッチングネットワーク

科学分野:

• コンピュータビジョン コンピュータビジョン
• 機械学習 (Machine Learning) とは,機械学習 (Machine Learning) について学ぶことです.
• 画像処理 画像処理

背景:

• ショートショットセマンティックセグメンテーション (FSS) は,複数の画像様式にわたる限られた注釈されたサンプルからの密度の高い予測を必要とします.
• 既存の方法は,多くの場合,その固有の違いを無視して,さまざまな様式 (可視,深さ,熱) を等しく扱う.
• 課題には,オブジェクトサイズの大幅な変動と,現在のマッチングパラダイムにおける無効なサポート-クエリ接続が含まれています.

研究 の 目的:

• 視覚的-深度-熱的 (V-D-T) 数ショットセマンティックセグメンテーションのための新しいスケールインヴァリアント機能マッチングネットワーク (SFM-Net) を提案する.
• FSSにおけるマルチモダルの違いとスケールの変動の処理における制限に対処するために.
• 数少ない注釈されたサンプルで意味論セグメンテーションの正確性と堅実性を向上させるため.

主な方法:

• SFM-Netは,エンコーダー,フィーチャーマッチングブロック,フィーチャーエレベーションブロック,およびデコーダーを統合しています.
• ピクセルからパッチのクロスアテンション (PTPCA) モジュールとピクセルからパッチのプーリング (PTP-pool) は,スケールインヴァリアントの関係を確立します.
• 前に関連した融合 (PF) モジュールと逆の注意 (RA) ユニットは,機能統合と最終的なセグメンテーションを強化します.

主要な成果:

• このモデルは,可視,深度,熱画像の特徴を効果的に融合させ,モダリティの違いを考慮します.
• スケールインヴァリアントの関係が確立され,さまざまなサイズのオブジェクトのセグメンテーションが改善されます.
• VDT-2048-5iデータセットでの実験は,最先端の方法よりも優れたパフォーマンスを示しています.

結論:

• 提案されたSFM-Netは,V-D-Tショットセマンティックセグメンテーションを大幅に進めている.
• 新しいモジュールは,マルチモデルの融合とスケールの変動を効果的に処理します.
• このアプローチは,限られたデータで,密度の高い予測タスクに対して,堅実なソリューションを提供します.