Tokens Inspirados Cognitivamente Superan el Sesgo Egocéntrico en Modelos Multimodales

Área de la Ciencia:

• Inteligencia Artificial
• Ciencia Cognitiva
• Visión por Computadora

Sus antecedentes:

• Los modelos de lenguaje multimodales (MLM) se destacan en tareas semánticas pero tienen dificultades con el razonamiento espacial, particularmente la toma de perspectiva.
• Los MLM actuales exhiben un sesgo egocéntrico, lo que limita su capacidad para realizar razonamiento alocéntrico.
• La cognición espacial humana ofrece información para desarrollar capacidades de razonamiento de IA más avanzadas.

Objetivo del estudio:

• Introducir un método novedoso para mejorar el razonamiento alocéntrico en los MLM.
• Mejorar las capacidades de toma de perspectiva visual en modelos de IA.
• Investigar el potencial de los MLM para apoyar el razonamiento espacial similar al humano.

Principales métodos:

• Desarrolló 'tokens de perspectiva', incrustaciones especializadas que codifican la orientación a través de representaciones corporales o abstractas.
• Integró estos tokens en el modelo LLaVA-1.5-13B.
• Evaluó el rendimiento en puntos de referencia sintéticos y naturalistas, incluidos Isle Bricks V2, COCO y 3DSRBench.

Principales resultados:

• La integración de tokens de perspectiva mejoró significativamente el rendimiento en tareas de toma de perspectiva visual de nivel 2.
• Los tokens basados en rotación demostraron capacidades de generalización a agentes de referencia no humanos.
• Los análisis representacionales indicaron que el ajuste fino mejora la sensibilidad a la orientación latente en los MLM.

Conclusiones:

• Incrustar la estructura espacial cognitivamente fundamentada en el espacio de tokens es un enfoque efectivo, ligero y agnóstico al modelo para la toma de perspectiva.
• Los MLM poseen precursores para el razonamiento alocéntrico, pero requieren una estructura interna apropiada para una utilización efectiva.
• Este método facilita un razonamiento espacial más similar al humano en los sistemas de IA.