短期間の物体インタラクション予測のためのアフォーダンスと注意モデルの統合

科学分野:

• コンピュータビジョン
• 人工知能
• ヒューマンコンピュータインタラクション

背景:

• 短期間の物体インタラクション予測（STA）は、ウェアラブルアシスタントやロボットなどのAIシステムがユーザーの意図を理解し、適時サポートを提供するために重要です。
• 現在のSTA手法は、自己中心的なビデオデータから物体インタラクションを正確に予測するために改善が必要です。

研究 の 目的:

• 短期間の物体インタラクション予測（STA）予測のパフォーマンスを強化すること。
• STA予測を人間の行動と環境の文脈に接地するための新しい注意ベースのアーキテクチャとモジュールを導入すること。

主な方法:

• STAformerおよびSTAformer++を提案：フレームガイド付き時間プーリング、デュアル画像ビデオ注意、マルチスケール特徴量融合を備えた注意ベースのアーキテクチャ。
• シーン内の永続的なインタラクションメモリのための環境アフォーダンスモデリングを導入。
• アフォーダンスをエンドツーエンド予測に統合するための適応的融合方法を開発。
• STAの局所化を洗練するために、手と物体の軌跡からインタラクションホットスポット予測を統合しました。

主要な成果:

• Ego4Dで最大23％、キュレーションされたEPIC-Kitchens STAラベルで最大31％の向上を伴う、全体的なトップ5mAPの大幅な改善。
• 提案された注意アーキテクチャとアフォーダンス接地モジュールの有効性を示しました。

結論:

• 新しいSTAformerアーキテクチャとアフォーダンスベースのモジュールは、短期間の物体インタラクション予測を大幅に進歩させます。
• リリースされたコード、注釈、およびアフォーダンスは、自己中心的なビデオ理解と人間とAIのインタラクションにおける将来の研究を促進します。