Aprendizaje de Representaciones No Supervisado a partir de Análisis de Transformaciones Dispersas

Área de la Ciencia:

• Aprendizaje Automático
• Inteligencia Artificial
• Aprendizaje de Representaciones

Sus antecedentes:

• La literatura sobre aprendizaje de representaciones explora principios como la eficiencia de codificación, la independencia estadística, la causalidad, la controlabilidad y la simetría.
• Los métodos existentes a menudo se centran en principios específicos para aprender representaciones de datos.

Objetivo del estudio:

• Proponer un nuevo método para aprender representaciones a partir de datos de secuencias.
• Factorizar las transformaciones de variables latentes en componentes dispersos utilizando modelos de flujo de probabilidad.
• Lograr representaciones desentrelazadas y aproximadamente equivariantes.

Principales métodos:

• Codificar los datos de entrada como distribuciones de activaciones latentes.
• Transformar las activaciones latentes utilizando un modelo de flujo de probabilidad descompuesto en campos de flujo rotacional y potencial.
• Aplicar un prior de dispersión para fomentar pocos campos activos e inferir la velocidad del flujo.
• Entrenar el modelo de forma no supervisada utilizando un objetivo variacional.

Principales resultados:

• El modelo aprende representaciones desentrelazadas que combinan factores independientes y primitivas de transformación.
• Los campos de flujo aprendidos representan primitivas de transformación independientes.
• El enfoque logra una probabilidad de datos de vanguardia.
• Demuestra errores de equivariancia aproximada no supervisada de vanguardia en conjuntos de datos de transformación de secuencias.

Conclusiones:

• El método propuesto aprende eficazmente representaciones desentrelazadas y aproximadamente equivariantes a partir de datos de secuencias.
• La factorización de transformaciones en componentes de flujo de probabilidad dispersos es una dirección prometedora para el aprendizaje de representaciones.
• El enfoque no supervisado ofrece una nueva forma de descubrir simetrías y transformaciones de datos subyacentes.