UpGen:生成モデルによる訓練なしのカモフラージュ検出のための基盤モデルの可能性を解放する

科学分野:

• コンピュータ・ビジョン
• 人工知能

背景:

• カモフラージュされたオブジェクト検出 (COD) は,監督学習における広範なアノテーションと複雑な最適化で課題に直面しています.
• 現在のプロンプトベースの方法は,セグメント・アニバーティ・モデル (SAM) の大型ビジョン言語モデル (LVLMs) を使用し,LVLMの幻覚と不十分なプロンプトの精錬に苦しんでいます.

研究 の 目的:

• 訓練を必要とせずに SAMの情報提示を生成する新しいパイプライン UpGenを開発します
• カモフラージュされたオブジェクトの検出の正確性と有効性を向上させ,迅速な品質を向上させる.

主な方法:

• UpGenは,LVLMと生成モデルを統合し,LVLMの幻覚を軽減するために,マルチ学生単一教師 (MSST) フレームワークを導入します.
• 実際のカモフラージュ画像の生成モデルを活用して,SAMスタイルのプロンプトを作成し,微調整なしで画像プロンプトのインタラクションを強化します.

主要な成果:

• UpGenは既存の弱監視とSAMベースのカモフラージュされたオブジェクト検出モデルを上回ります.
• 偽ラベル生成の既存の方法にUpGenを統合すると,一貫した性能向上が得られます.
• UpGenは,オープン語彙のCODと透明なオブジェクトセグメンテーションを含む様々なセグメンテーションタスクで有望な結果を示しています.

結論:

• UpGenは,SAMのための高品質のプロンプトを生成するための新しい,訓練のないアプローチを提供し,カモフラージュされたオブジェクト検出を大幅に進歩させます.
• 提案されたMSSTの枠組みは,LVLMの幻覚に効果的に対処し,より信頼性の高いプロンプトにつながります.
• UpGenの汎用性と性能の向上は,さまざまなコンピュータビジョンセグメンテーションタスクにおけるその可能性を強調しています.