Aprendizaje de Representaciones Esqueléticas Mediante Mezcla Contrastiva Aumentada por Ataques

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Inteligencia Artificial

Sus antecedentes:

• El reconocimiento de acciones no supervisado se basa en el aprendizaje contrastivo con pares de muestras positivas y negativas.
• Los métodos existentes utilizan aumentos de datos para la construcción de pares, pero estos a menudo carecen de variación semántica y difuminan los límites de los pares.
• Las alteraciones aleatorias de la apariencia en los esqueletos no capturan diferencias semánticas significativas y debilitan los objetivos contrastivos.

Objetivo del estudio:

• Desarrollar un marco de aumento impulsado por ataques para generar perturbaciones semánticamente significativas en datos esqueléticos.
• Crear muestras informativas positivas y negativas difíciles para el aprendizaje de representaciones robustas en el reconocimiento de acciones no supervisado.
• Introducir un marco novedoso, Aprendizaje de Representaciones Esqueléticas Mediante Mezcla Contrastiva Aumentada por Ataques (A^2MC), para el aprendizaje contrastivo mejorado.

Principales métodos:

• Se propuso un módulo de Aumento por Ataque (Att-Aug) que integra perturbaciones dirigidas (basadas en ataques) y no dirigidas (basadas en aumentos) para generar muestras positivas difíciles.
• Se introdujo un Mezclador Positivo-Negativo (PNM) para sintetizar negativos difíciles y desafiantes al mezclar características positivas y negativas difíciles.
• Se implementó un banco de memoria mixto actualizado con negativos difíciles sintetizados para mejorar el aprendizaje contrastivo.

Principales resultados:

• El marco A^2MC genera eficazmente muestras positivas y negativas difíciles, ricas en semántica.
• Los métodos propuestos mejoran significativamente la robustez de las representaciones esqueléticas para el reconocimiento de acciones.
• Las evaluaciones en tres puntos de referencia muestran que el rendimiento de A^2MC es competitivo o superior a los métodos de vanguardia.

Conclusiones:

• El aumento impulsado por ataques proporciona una estrategia más efectiva para crear pares de muestras informativos en el aprendizaje contrastivo.
• El marco A^2MC ofrece un enfoque novedoso y efectivo para el reconocimiento de acciones no supervisado basado en esqueletos.
• El método demuestra el potencial de las perturbaciones semánticas explícitas para avanzar en el aprendizaje de representaciones.