LLaVA-Pose: Ajuste de instrucciones integradas en puntos clave para la comprensión de la postura y la acción humanas

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Aprendizaje multimodal

Sus antecedentes:

• Los modelos actuales de lenguaje visual (VLM) sobresalen en tareas visuales generales, pero luchan con el reconocimiento de posturas y acciones humanas complejas.
• Esta limitación se debe a la falta de datos especializados de seguimiento de instrucciones para la comprensión visual centrada en el ser humano.

Objetivo del estudio:

• Desarrollar un método para generar datos especializados de lenguaje visual que integren puntos clave humanos con características visuales tradicionales.
• Crear un conjunto de datos completo para ajustar los VLM en tareas centradas en el ser humano, incluida la conversación, la descripción detallada y el razonamiento complejo.
• Establecer un punto de referencia para evaluar el rendimiento del modelo en la comprensión de la postura y la acción humanas.

Principales métodos:

• Datos de puntos clave humanos integrados con características visuales existentes como subtítulos y cuadros de límite.
• Construyó un conjunto de datos de 200 328 muestras centradas en tareas centradas en el ser humano.
• Estableció el punto de referencia de comprensión de la postura y la acción humanas extendidas (E-HPAUB).
• Ajuste fino del modelo LLaVA-1.5-7B utilizando el conjunto de datos generado para crear el modelo LLaVA-Pose.

Principales resultados:

• El modelo LLaVA-Pose demostró mejoras significativas en el índice de referencia E-HPAUB.
• Se logró un aumento del rendimiento general del 33,2% en comparación con el modelo basal LLaVA-1.5-7B.
• Validación de la eficacia de los datos integrados en puntos clave para mejorar la comprensión visual centrada en el ser humano.

Conclusiones:

• Los datos integrados en puntos clave son cruciales para el avance de los VLM en la comprensión de posturas y acciones humanas complejas.
• El método y el conjunto de datos propuestos mejoran efectivamente las capacidades del modelo multimodal para tareas visuales centradas en el ser humano.