IDガイダンス付きマルチモーダルエキスパートとコントラスティブ拡散によるシーケンシャルレコメンデーション | JoVE Visualize

科学分野:

人工知能
コンピュータサイエンス

背景:

マルチモーダルシーケンシャルレコメンデーションは、テキストと画像データを活用して、ユーザーとアイテムのインタラクションモデリングを強化します。
既存の手法は、クロスモーダルの一貫性のなさや特徴量内のノイズに対処するのに苦労しており、レコメンデーションの質を制限しています。

研究の目的:

現在のマルチモーダルレコメンデーションシステムの限界に対処するために、IDガイダンス付きマルチモーダルエキスパートとコントラスティブ拡散（IMECD）という新しいフレームワークを提案すること。
意味論的な不整合を解消し、無関係な信号を抑制することによって、マルチモーダル表現の質を向上させること。

主な方法:

長期的なユーザーの嗜好を使用して特徴抽出を動的にガイドするために、IDガイダンス付きマルチモーダルエキスパート混合モジュールを実装しました。
シーケンシャル特徴量のノイズを除去するために、モダリティ固有のベクトル量子化モジュールを導入しました。
シーケンス表現とコントラスティブ損失を使用して生成バイアスを軽減するために、コントラスティブ拡散生成モジュールを開発しました。

主要な成果:

提案されたIMECDフレームワークは、4つのベンチマークデータセットすべてにおいて、最先端のベースラインに対して一貫して優れたパフォーマンスを示しました。
IDガイダンスモジュールは、クロスモーダル意味論的な不整合を効果的に解消し、無関係な信号を抑制しました。
モダリティ固有のベクトル量子化は、シーケンシャル特徴量のノイズ除去に成功し、表現の質を向上させました。

結論:

IMECDは、クロスモーダルの一貫性のなさやデータのノイズを効果的に処理することにより、マルチモーダルシーケンシャルレコメンデーションにおいて大きな進歩を提供します。
ID埋め込みやコントラスティブ拡散などの高度な技術を活用するフレームワークの能力は、優れたレコメンデーションパフォーマンスに貢献します。