InstructSee: Recuperación multimodal basada en instrucciones y retroalimentación con generación de consultas...

Área de la Ciencia:

• Inteligencia artificial
• Visión por computadora
• Procesamiento del lenguaje natural

Sus antecedentes:

• La recuperación intermodal tiene como objetivo unir diferentes tipos de datos, en particular alinear imágenes con texto.
• Los métodos actuales se enfrentan a desafíos en la interpretación de instrucciones complejas o en evolución del usuario para una recuperación precisa.
• La comprensión de la intención implícita del usuario en las consultas multimodales sigue siendo una brecha de investigación significativa.

Objetivo del estudio:

• Desarrollar un nuevo marco de aprendizaje de representación intermodal.
• Mejorar la capacidad de los sistemas para capturar la intención del usuario a partir de instrucciones de lenguaje natural.
• Mejorar la adaptabilidad y la precisión de los sistemas de recuperación multimodal.

Principales métodos:

• Propuso un mecanismo de generación de consultas dinámicas conscientes de las instrucciones.
• Capacidades de razonamiento semántico integrado de los grandes modelos de lenguaje (LLM).
• Representaciones de consultas construidas dinámicamente y refinadas iterativamente basadas en instrucciones y comentarios del usuario.

Principales resultados:

• El marco mejoró significativamente la precisión y la adaptabilidad de la recuperación en los parámetros de referencia estándar.
• Superó a los métodos de referencia de consultas fijas existentes.
• Capacidad demostrada de alineación y generalización intermodales.

Conclusiones:

• El marco propuesto deduce y se adapta efectivamente a la intención implícita de recuperación.
• La generación de consultas dinámicas aumentadas por LLM es crucial para la recuperación intermodal compleja basada en instrucciones.
• El método ofrece una dirección prometedora para un acceso a la información multimodal más intuitivo y preciso.