Autoencoder variacional multimodal: una vista baricéntrica | JoVE Visualize

Área de la Ciencia:

Inteligencia artificial
Aprendizaje automático
Visión por computadora
Procesamiento del lenguaje natural

Sus antecedentes:

Los fenómenos del mundo real implican múltiples modalidades de señal (por ejemplo, visión, sonido).
El aprendizaje de representación multimodal utilizando autoencoders variacionales (VAEs) está ganando fuerza, especialmente para manejar modalidades que faltan.
Las EVA multimodales existentes a menudo se basan en métodos de agregación de expertos como el Producto de Expertos (PoE) o la Mezcla de Expertos (MoE).

Objetivo del estudio:

Proponer una nueva formulación teórica para los EVA multimodales basada en el concepto de baricentros.
Demostrar que los métodos PoE y MoE existentes son ejemplos específicos de baricentros.
Introducir un enfoque de baricentro más flexible utilizando diferentes medidas de divergencia, en particular la distancia de Wasserstein.

Principales métodos:

Desarrolló una formulación teórica genérica para VAE multimodal utilizando baricentros.
Se demostró que el producto de expertos (PoE) y la mezcla de expertos (MoE) son casos especiales de baricentros derivados de la divergencia KL.
Introdujo y exploró el baricentro de Wasserstein, utilizando la distancia de 2-Wasserstein para mejorar el aprendizaje de la representación.

Principales resultados:

La formulación de baricentro propuesta extiende los métodos existentes al permitir opciones de divergencia más flexibles.
El baricentro de Wasserstein captura efectivamente las representaciones invariables de modalidad y específicas de modalidad al preservar la geometría de las distribuciones unimodal.
Las evaluaciones empíricas de tres puntos de referencia multimodales confirmaron el rendimiento superior del método propuesto.

Conclusiones:

El marco baricentro ofrece un enfoque más generalizado y flexible para las EVA multimodales en comparación con los métodos basados en expertos.
El baricentro de Wasserstein proporciona un aprendizaje de representación mejorado al preservar mejor la geometría distributiva.
El método propuesto demuestra una eficacia significativa en las tareas de aprendizaje de representación multimodal, en particular con modalidades que faltan.