VL-HTR: Aprendizaje de representación humano-objetivo a partir de un modelo de visión y lenguaje

Área de la Ciencia:

• Visión por Computadora
• Inteligencia Artificial
• Interacción Humano-Computadora

Sus antecedentes:

• Los métodos existentes de predicción del objetivo de la mirada humana a menudo utilizan características solo de visión.
• Estos métodos tienen dificultades con objetos pequeños/ocultos y carecen de información previa precisa sobre la dirección de la cabeza, lo que provoca una convergencia lenta y un rendimiento deficiente.

Objetivo del estudio:

• Introducir VL-HTR, un novedoso método de aprendizaje de visión y lenguaje para la representación humano-objetivo.
• Integrar conocimiento multimodal de modelos de visión y lenguaje (VLM) para construir relaciones humano-objetivo robustas.
• Mejorar la comprensión semántica y acelerar la regresión del punto de la mirada.

Principales métodos:

• Extraer características multimodales utilizando VLM preentrenados para mejorar el conocimiento humano-objetivo.
• Emplear un módulo de alineación de consulta guiada por lenguaje (LQA) para la representación de objetos consciente semánticamente.
• Utilizar un módulo de predicción de dirección guiada por lenguaje (LDP) para obtener información previa multimodal de la dirección de la mirada humana.

Principales resultados:

• VL-HTR demuestra un rendimiento superior en las tareas de predicción de objetos de la mirada (GOP) y estimación del objetivo de la mirada.
• Se logró una convergencia de entrenamiento significativamente más rápida en cinco puntos de referencia desafiantes.
• Se validó la efectividad en la construcción de relaciones humano-objetivo.

Conclusiones:

• VL-HTR aprovecha eficazmente la información multimodal para mejorar la predicción del objetivo de la mirada humana.
• El método propuesto ofrece un enfoque más robusto y eficiente en comparación con las técnicas basadas únicamente en la visión.
• VL-HTR muestra ser prometedor para avanzar en la investigación en análisis de la mirada e interacción humano-computadora.