Integración de modelos de asequibilidad y atención para la anticipación de interacciones de objetos a corto plazo

Área de la Ciencia:

• Visión por Computadora
• Inteligencia Artificial
• Interacción Humano-Computadora

Sus antecedentes:

• La anticipación de interacciones de objetos a corto plazo (STA) es crucial para que los sistemas de IA, como los asistentes portátiles y los robots, comprendan la intención del usuario y brinden soporte oportuno.
• Los métodos STA actuales requieren mejoras para predecir con precisión las interacciones de objetos a partir de datos de video egocéntricos.

Objetivo del estudio:

• Mejorar el rendimiento de las predicciones de anticipación de interacciones de objetos a corto plazo (STA).
• Introducir nuevas arquitecturas y módulos basados en atención para fundamentar las predicciones STA en el comportamiento humano y el contexto ambiental.

Principales métodos:

• Se propusieron STAformer y STAformer++: arquitecturas basadas en atención con agrupación temporal guiada por fotogramas, atención dual de imagen-video y fusión de características multiescala.
• Se introdujo el modelado de asequibilidad ambiental para la memoria de interacción persistente dentro de las escenas.
• Se desarrollaron métodos de fusión adaptativa para integrar las asequibilidades con las predicciones de extremo a extremo.
• Se integró la predicción de puntos calientes de interacción a partir de trayectorias de manos y objetos para refinar la localización STA.

Principales resultados:

• Mejoras significativas en la media de precisión general Top-5 (mAP), con aumentos de hasta el 23% en Ego4D y el 31% en etiquetas STA de EPIC-Kitchens curadas.
• Demostró la efectividad de las arquitecturas de atención propuestas y los módulos basados en asequibilidad.

Conclusiones:

• Las nuevas arquitecturas STAformer y los módulos basados en asequibilidad avanzan sustancialmente la anticipación de interacciones de objetos a corto plazo.
• El código, las anotaciones y las asequibilidades publicadas facilitarán la investigación futura en la comprensión de video egocéntrico y la interacción humano-IA.