Comprensión del movimiento humano inducida por semántica visual temporal con modelos de lenguaje grandes

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Inteligencia Artificial

Sus antecedentes:

• La segmentación no supervisada del movimiento humano (HMS) se basa tradicionalmente en la agrupación de subespacios.
• Los métodos existentes a menudo descuidan el aspecto crucial de la comprensión semántica temporal en las secuencias de movimiento.
• La integración de información visual y textual es una tendencia creciente en la investigación de IA.

Objetivo del estudio:

• Mejorar la segmentación no supervisada del movimiento humano incorporando semántica visual temporal (TVS).
• Aprovechar las capacidades de imagen a texto de los modelos de lenguaje grandes (LLM) para extraer información textual relacionada con el movimiento.
• Desarrollar un marco novedoso de agrupación de subespacios que integre TVS para mejorar el rendimiento de la segmentación.

Principales métodos:

• Extracción de TVS de secuencias de movimiento humano utilizando LLM consultando la similitud del movimiento fotograma a fotograma.
• Desarrollo de un enfoque de agrupación de subespacios integrado con TVS con un regularizador temporal.
• Implementación de un marco habilitado para retroalimentación para la optimización continua de incrustaciones de subespacios basada en la salida de segmentación.

Principales resultados:

• El método propuesto supera significativamente los enfoques actuales de vanguardia en cuatro conjuntos de datos de referencia de movimiento humano.
• La integración de TVS mejora eficazmente el rendimiento de la agrupación de subespacios para HMS.
• El regularizador temporal y la restricción agrupan con éxito los fotogramas con semántica de movimiento similar.

Conclusiones:

• La semántica visual temporal derivada a través de LLM ofrece una nueva y potente dimensión para la segmentación no supervisada del movimiento humano.
• El método propuesto de agrupación de subespacios integrado con TVS proporciona una solución robusta y eficaz para HMS.
• El trabajo futuro puede explorar interacciones más sofisticadas de LLM para una comprensión semántica más rica en el análisis del movimiento.