360$^{\circ }$ ビデオで音視突起予測のための球形視力トランスフォーマー

科学分野:

• コンピュータ・ビジョン
• 仮想現実
• 人とコンピュータの相互作用

背景:

• オムニディレクショナル・ビデオ (ODV) は,完全な視野 (FOV) を備えた浸透性のある仮想現実 (VR) の体験を提供します.
• 360°環境での視覚的突出を予測することは,球形の歪みと空間音声の統合により,ユニークな課題を提示します.
• 現存するデータセットは,360°突起の予測のための包括的なオーディオ・ビジュアルデータがない.

研究 の 目的:

• 球形の歪みと空間的な音声統合に取り組むことにより,360°ビデオ環境への突出予測を拡張する.
• オーディオ・ビジュアル・サライエンスの予測のための新しいモデルを開発し,評価する.
• 新しいデータセット"YT360-EyeTracking"を導入し,360度目線予測モデルを訓練・評価する.

主な方法:

• オーディオ・ビジュアル条件の異なる81のODVを含むYT360-EyeTrackingデータセットをキュレーションしました.
• 提案されたSalViT360は,ODVのための球形の幾何学的な注意を持つビジョントランスフォーマーモデルです.
• SalViT360-AVを開発し,オーディオ入力に条件付けられた変圧器アダプタを組み込んだ拡張機能を開発した.

主要な成果:

• SalViT360とSalViT360-AVは,YT360 EyeTrackingを含むベンチマークデータセットに関する既存の方法を大幅に上回っています.
• 空間的な音声信号を組み込むことの有効性を示した.
• 複雑な360°シーンでの視聴者の注意を予測するモデルの能力を検証した.

結論:

• 空間音声の統合は,オムニディレクションビデオの精度の予測に不可欠です.
• 提案されたSalViT360とSalViT360-AVモデルは,360°視覚的注意の予測における重要な進歩を表しています.
• YT360-EyeTrackingデータセットは,インマーシブメディアのオーディオ・ビジュアル・サライエンスのさらなる研究を促進します.