Guía de objetivos con selección adaptativa de modalidades para la anticipación eficiente de actividades de ensamblaje...

Área de la Ciencia:

• Visión por Computadora
• Inteligencia Artificial
• Interacción Humano-Computadora

Sus antecedentes:

• Los dispositivos de realidad aumentada (RA) con observación egocéntrica y percepción multimodal ofrecen potencial para asistentes inteligentes en tareas de ensamblaje.
• Anticipar actividades futuras en vídeos egocéntricos es crucial para la colaboración humano-robot, pero enfrenta desafíos en precisión y eficiencia computacional.

Objetivo del estudio:

• Desarrollar un método eficiente y preciso para anticipar actividades de ensamblaje en el futuro cercano a partir de vídeos egocéntricos.
• Abordar el equilibrio entre precisión y coste computacional en los modelos existentes de anticipación de actividad egocéntrica.

Principales métodos:

• Se propuso un marco de guía de objetivos con selección adaptativa de modalidades (GP-AMS).
• Se inyectaron pistas de objetivos de alto nivel en los prompts para guiar un modelo de visión-lenguaje (V-L) para la predicción de actividades futuras.
• Se empleó una estrategia de enmascaramiento y predicción con enmascaramiento casual y eliminación probabilística de tokens.
• Se desarrolló una estrategia adaptativa de selección de modalidades para elegir dinámicamente las modalidades, optimizando la carga computacional.

Principales resultados:

• El marco GP-AMS demostró mejoras constantes en la precisión de la anticipación en conjuntos de datos públicos.
• Se lograron ahorros significativos en los presupuestos de computación en comparación con los métodos existentes.
• Se validó la viabilidad del enfoque para dispositivos de RA del mundo real.

Conclusiones:

• El método GP-AMS propuesto cierra eficazmente la brecha semántica para la anticipación de actividades futuras.
• Se logró un equilibrio superior entre precisión y eficiencia computacional en la anticipación de actividades egocéntricas.
• Se allanó el camino para la implementación práctica de asistentes inteligentes avanzados en tareas de ensamblaje.