ADVersa：誘拐的運転事故ビデオ理解

科学分野:

• コンピュータビジョン
• 機械学習
• 人工知能

背景:

• 交通事故分析は安全運転に不可欠ですが、データの不足、断片化、複雑な環境によって妨げられています。
• 事故原因とニアクラッシュダイナミクスの理解は、ビジョンベースの研究における大きな課題のままです。

研究 の 目的:

• ニアクラッシュシーンの説明を推論するための新しいフレームワーク、Abductive Driving accident Video understanding (ADVersa)を提示すること。
• 包括的な事故ビデオ分析のためのマルチモーダル事故ビデオ理解 (MM-AU) データセットを導入すること。
• マルチモーダル事故ビデオ理解タスクのための高度なモデルを開発すること。

主な方法:

• ニアクラッシュシーンの視覚的過去回復、視覚的予測、事故原因合成のためのADVersaフレームワーク。
• 11,727本のビデオ、アラインされたテキスト、オブジェクトボックス、事故原因テキストを含むMM-AUデータセットの導入。
• 関係認識クロスモーダルセマンティック学習を利用したAbductive CLIPおよびContrastive Graph Video Pre-training (CGVP) モデルの開発。

主要な成果:

• ADVersaは、履歴フレーム回復、将来フレーム予測、事故原因推論において、最先端の方法よりも優れたパフォーマンスを示しています。
• 提案されたモデルは、通常から事故へのビデオ合成および事故ビデオ編集において進歩を達成しています。
• さまざまな事故ビデオ理解タスク全体でのフレームワークの有効性の検証。

結論:

• ADVersaは、データの不足と複雑性に対処する、マルチモーダル事故ビデオ理解のための堅牢なソリューションを提供します。
• MM-AUデータセットと提案されたモデルは、ビジョンベースの安全運転の研究を進歩させる上で大きく貢献しています。
• この研究は、強化されたAI機能を通じて、事故分析と防止の改善への道を開きます。