Autoencoder variacional multimodal: una vista baricéntrica

Área de la Ciencia:

• Inteligencia artificial
• Aprendizaje automático
• Visión por computadora
• Procesamiento del lenguaje natural

Sus antecedentes:

• Los fenómenos del mundo real implican múltiples modalidades de señal (por ejemplo, visión, sonido).
• El aprendizaje de representación multimodal utilizando autoencoders variacionales (VAEs) está ganando fuerza, especialmente para manejar modalidades que faltan.
• Las EVA multimodales existentes a menudo se basan en métodos de agregación de expertos como el Producto de Expertos (PoE) o la Mezcla de Expertos (MoE).

Objetivo del estudio:

• Proponer una nueva formulación teórica para los EVA multimodales basada en el concepto de baricentros.
• Demostrar que los métodos PoE y MoE existentes son ejemplos específicos de baricentros.
• Introducir un enfoque de baricentro más flexible utilizando diferentes medidas de divergencia, en particular la distancia de Wasserstein.

Principales métodos:

• Desarrolló una formulación teórica genérica para VAE multimodal utilizando baricentros.
• Se demostró que el producto de expertos (PoE) y la mezcla de expertos (MoE) son casos especiales de baricentros derivados de la divergencia KL.
• Introdujo y exploró el baricentro de Wasserstein, utilizando la distancia de 2-Wasserstein para mejorar el aprendizaje de la representación.

Principales resultados:

• La formulación de baricentro propuesta extiende los métodos existentes al permitir opciones de divergencia más flexibles.
• El baricentro de Wasserstein captura efectivamente las representaciones invariables de modalidad y específicas de modalidad al preservar la geometría de las distribuciones unimodal.
• Las evaluaciones empíricas de tres puntos de referencia multimodales confirmaron el rendimiento superior del método propuesto.

Conclusiones:

• El marco baricentro ofrece un enfoque más generalizado y flexible para las EVA multimodales en comparación con los métodos basados en expertos.
• El baricentro de Wasserstein proporciona un aprendizaje de representación mejorado al preservar mejor la geometría distributiva.
• El método propuesto demuestra una eficacia significativa en las tareas de aprendizaje de representación multimodal, en particular con modalidades que faltan.