KE-VUM：ファイングレイン映画記述のための知識強化ビデオ理解モデル

科学分野:

• 人工知能;コンピュータビジョン;自然言語処理

背景:

• ファイングレイン映画記述は、アノテーションの制限と、特に複雑な物語におけるクロスモーダル意味ギャップによって妨げられています。現在のビデオ記述モデルは、構造化されたスクリプト知識を利用できず、表層的な意味とキャラクターの誤同定につながることがよくあります。

研究 の 目的:

• 改善されたファイングレイン映画記述のための知識強化ビデオ理解モデル（KE-VUM）を開発すること。ビデオ理解における意味のギャップと物語の複雑さの課題に対処すること。スクリプト知識を統合することにより、ビデオ記述における時間的および因果的整合性を強化すること。

主な方法:

• KE-VUMは、ビデオベースのマルチモーダルバックボーンとスクリプト知識ベース間の協調的推論を採用しています。2段階のスクリプトガイド最適化により、下書き記述が洗練されます。エンティティ/関係の修正（知識グラフ経由）とプロットの進行に合わせた物語の再構築。物語が豊富なクリップのためのMovieClipベンチマークと、意味精度スコア（SAS）と物語の一貫性スコア（NCS）を評価するためのLLMベースのフレームワークであるVD-Evalを導入しました。

主要な成果:

• KE-VUMは、強力なベースラインと比較して、MovieClipベンチマークで優れたパフォーマンスを示しました。BERTScore F1で6.7％の絶対的な改善を達成し、記述精度の向上が示されました。意味精度と物語の一貫性の両方を向上させる遅延物語シナリオで堅牢なパフォーマンスを示しました。

結論:

• KE-VUMは、スクリプト知識を効果的に統合し、より正確で一貫性のあるファイングレインビデオ記述を実現します。提案されたモデルは、構造化された知識を活用してビデオの理解を深めることにより、既存の方法の限界を克服します。MovieClipベンチマークとVD-Evalは、物語ビデオ理解の研究を進歩させるための貴重なリソースを提供します。