Foundation Model Empowered Real-Time Video Conference with Semantic Communications

科学分野:

• 通信のためのコンピュータビジョン
• マルチメディアサービス
• 人工知能財団モデル

背景:

• リアルタイムビデオ会議は、普及しているインタラクティブマルチメディアサービスにより、大量のトラフィックを生成します。
• 既存のコンピュータビジョン（CV）技術は、認識やセグメンテーションのような多様なインタラクティブビデオタスクの統合が不足しています。
• 財団モデルの台頭は、タスク指向の意味的通信の機会をもたらします。

研究 の 目的:

• マルチメディアサービスのインタラクティビティを強化するための新しいフレームワーク、財団モデルによるリアルタイムビデオ会議（RTVCFM）を提案すること。
• 現在のコンピュータビジョン（CV）手法が複雑なインタラクティブビデオの要求を処理する上での限界に対処すること。
• 効率的で高忠実度のビデオ伝送のために財団モデルを活用すること。

主な方法:

• 送信側：ビデオ時間認識大規模言語モデル（VTimeLLM）、反復統合属性（IIA）、および意味的セグメンテーションのためのセグメントAnything Model 2（SAM2）を使用した因果的理解と時空間分離。
• 伝送中：低ビットレートと高意味的忠実度のためのチャネル状態情報（CSI）によって駆動される2段階の意味的伝送最適化。
• 受信側：ビデオストリーム再構築のための前景背景融合（DMFBF）のための拡散モデルを使用した多次元融合。

主要な成果:

• 圧縮率を95.6%まで達成しました。
• マルチスケール構造類似性指標（MS-SSIM）で98.73%、構造類似性（SSIM）で98.35%の高い意味的類似性を保証しました。
• 再構築されたビデオが元のビデオと非常に類似していることを示しました。

結論:

• RTVCFMは、リアルタイムマルチメディアサービスのインタラクティビティ要件を効果的に満たします。
• 提案されたフレームワークは、高い意味的忠実度を維持しながら、大幅なビデオ圧縮を可能にします。
• このアプローチは、通信のためのコンピュータビジョンを進歩させる上での財団モデルの可能性を示しています。