DC-SAM: Dual Consistencyによる画像およびビデオにおけるインコンテキストセグメンテーション

科学分野:

• コンピュータビジョン
• 機械学習

背景:

• インコンテキストセグメンテーションは、少数ショット学習の部分集合であり、1つのラベル付き例からオブジェクトをセグメンテーションする必要があります。
• 既存のセグメンテーション・エニシング・モデル（SAM）は、インタラクティブセグメンテーションに優れていますが、インコンテキストセグメンテーションタスクには直接適していません。
• SAMをインコンテキストセグメンテーションに適応させることは、コンピュータビジョンの汎化能力を進歩させるために重要です。

研究 の 目的:

• 画像およびビデオにおけるインコンテキストセグメンテーションのための新しい手法であるDual Consistency SAM（DC-SAM）を提案します。
• 高品質な視覚的プロンプトを使用してSAM内のプロンプトエンコーダーの特徴表現を強化します。
• インコンテキストビデオオブジェクトセグメンテーション（IC-VOS）のための最初のベンチマークを導入します。

主な方法:

• DC-SAMは、プロンプトチューニングを使用してSAMおよびSAM2をインコンテキストセグメンテーションに適応させます。
• 主な技術には、プロンプトアライメントを改善するためのSAM特徴の融合と、特徴と視覚的プロンプトの一貫性のためのサイクル整合性クロスアテンションが含まれます。
• 識別プロンプトを持つデュアルブランチ設計とマスクチューブトレーニング戦略が利用されます。

主要な成果:

• DC-SAMは、COCO-2iおよびPASCAL-5iデータセットで55.5 mIoUおよび73.0 mIoUを達成します。
• この手法は、新たにキュレーションされたIC-VOSベンチマークで71.52のJ&Fスコアを達成します。
• 実験により、画像およびビデオのインコンテキストセグメンテーションにおけるDC-SAMの効果が検証されます。

結論:

• DC-SAMは、画像およびビデオにおける効果的なインコンテキストセグメンテーションのためにSAMをうまく適応させます。
• 提案された手法は、標準的な少数ショットセグメンテーションベンチマークおよび新しいIC-VOSデータセットで優れたパフォーマンスを示します。
• DC-SAMは、少数ショット学習および視覚セグメンテーションの分野における重要な進歩を提供します。