Egocentric動画における効率的な組立活動予測のための適応的モダリティ選択を備えた目標誘導プロンプティング

科学分野:

• コンピュータビジョン
• 人工知能
• 人間とコンピュータの相互作用

背景:

• 視線観測とマルチモーダル認識を備えた拡張現実（AR）デバイスは、組立タスクにおけるスマートアシスタントの可能性を提供します。
• 視線動画における将来の活動の予測は、人間とロボットの協働にとって重要ですが、精度と計算効率の課題に直面しています。

研究 の 目的:

• 視線動画から近い将来の組立活動を予測するための効率的かつ正確な方法を開発すること。
• 既存の視線活動予測モデルにおける精度と計算コストのトレードオフに対処すること。

主な方法:

• 適応的モダリティ選択を備えた目標誘導プロンプティングフレームワーク（GP-AMS）を提案しました。
• 高レベルの目標の手がかりをプロンプトに注入し、将来の活動予測のために視覚言語（V-L）モデルをガイドしました。
• 因果マスキングと確率的トークン廃棄を備えたマスキングおよび予測戦略を採用しました。
• 計算負荷を最適化するために、動的にモダリティを選択する適応的モダリティ選択戦略を開発しました。

主要な成果:

• GP-AMSフレームワークは、公開データセットで予測精度の一貫した改善を示しました。
• 既存の方法と比較して、計算予算の大幅な節約を達成しました。
• 現実世界のARデバイスでのアプローチの実現可能性を検証しました。

結論:

• 提案されたGP-AMS手法は、将来の活動予測のための意味論的ギャップを効果的に橋渡ししました。
• 視線活動予測において、精度と計算効率の優れたバランスを達成しました。
• 組立タスクにおける高度なスマートアシスタントの実用的な展開への道を開きました。