ID-Guided Multimodal experts with contrastive diffusion for sequential recommendation | JoVE Visualize

Área de la Ciencia:

Inteligencia Artificial
Ciencias de la Computación

Sus antecedentes:

La recomendación secuencial multimodal aprovecha los datos de texto e imagen para mejorar la modelización de la interacción usuario-artículo.
Los métodos existentes luchan con las inconsistencias multimodales y el ruido dentro de las características, lo que limita la calidad de la recomendación.

Objetivo del estudio:

Proponer un marco novedoso, ID-Guided Multimodal Experts with Contrastive Diffusion (IMECD), para abordar las limitaciones en los sistemas de recomendación multimodales actuales.
Mejorar la calidad de las representaciones multimodales resolviendo inconsistencias semánticas y suprimiendo señales irrelevantes.

Principales métodos:

Se implementó un módulo de mezcla de expertos multimodales guiado por ID para guiar dinámicamente la extracción de características utilizando las preferencias a largo plazo del usuario.
Se introdujo un módulo de cuantificación vectorial específico de la modalidad para eliminar el ruido de las características secuenciales.
Se desarrolló un módulo de generación de difusión contrastiva para mitigar el sesgo de generación utilizando representaciones de secuencias y pérdida contrastiva.

Principales resultados:

El marco propuesto IMECD demostró un rendimiento superior constante frente a los métodos de referencia más avanzados en cuatro conjuntos de datos de referencia.
El módulo guiado por ID resolvió eficazmente la inconsistencia semántica multimodal y suprimió las señales irrelevantes.
La cuantificación vectorial específica de la modalidad eliminó con éxito el ruido de las características secuenciales, mejorando la calidad de la representación.

Conclusiones:

IMECD ofrece un avance significativo en la recomendación secuencial multimodal al manejar eficazmente las inconsistencias multimodales y el ruido de los datos.
La capacidad del marco para aprovechar las incrustaciones de ID y las técnicas avanzadas como la difusión contrastiva contribuye a un rendimiento de recomendación superior.