VL-HTR:視覚言語モデルから人間-ターゲット表現を学習する

科学分野:

• コンピュータビジョン コンピュータビジョン
• 人工知能 (AI) とは,人工知能 (AI) のことです.
• 人とコンピュータの相互作用です.

背景:

• 既存のヒトの視線標的予測方法は,しばしば視覚のみの機能を使用しています.
• これらの方法は,小さな/遮断されたオブジェクトと闘い,正確なヘッド・ディレクション・プライオールを欠いており,収束が遅く,性能が悪くなっています.

研究 の 目的:

• VL-HTRを紹介します.これは,ヒト-ターゲット表現のための新しい視覚言語学習方法です.
• ビジョン・ランゲージ・モデル (Vision-Language Models, VLMs) からのマルチモダルの知識を統合して,人間とターゲットとの強固な関係を構築します.
• 意味論的理解を高め,凝視点回帰を加速する.

主な方法:

• 先行訓練されたVLMを使用してマルチモダルの機能を抽出して,人間のターゲットに関する知識を向上させます.
• 言語主導のクエリアラインメント (LQA) モジュールを使用して,意味意識のあるオブジェクト表現を行う.
• マルチモダルのヒトの視線方向プリオートには,言語ガイドドディレクション予測 (LDP) モジュールを使用します.

主要な成果:

• VL-HTRは,凝視オブジェクト予測 (GOP) と凝視ターゲット推定タスクの優れたパフォーマンスを実証しています.
• 5つの挑戦的なベンチマークで,著しく速いトレーニング収束を達成しました.
• 人とターゲットとの関係を構築する際の有効性を検証した.

結論:

• VL-HTRは,マルチモダルの情報を効果的に活用して,人間の視線と標的の予測を向上させています.
• 提案された方法は,視覚のみの技術と比較して,より堅牢で効率的なアプローチを提供します.
• VL-HTRは,視線分析と人間とコンピュータの相互作用に関する研究の進歩に期待を示しています.