Las representaciones visuales de alto nivel en el cerebro humano están alineadas con grandes modelos de lenguaje

Área de la Ciencia:

• La neurociencia cognitiva
• Inteligencia artificial
• Visión por computadora

Sus antecedentes:

• El cerebro humano procesa información visual compleja de escenas naturales, incluidas las relaciones de objetos e interacciones ambientales.
• Actualmente falta un método cuantitativo para estudiar este complejo procesamiento de información visual en el cerebro.

Objetivo del estudio:

• Investigar si la información contextual de los grandes modelos de lenguaje (LLM) puede ayudar a modelar la extracción del cerebro de información visual compleja de escenas naturales.
• Determinar si las incorporaciones de LLM de las leyendas de la escena pueden caracterizar y predecir patrones de actividad cerebral.

Principales métodos:

• Las incorporaciones de LLM de subtítulos de escenas se utilizaron para modelar la actividad cerebral evocada al ver escenas naturales.
• Se realizaron comparaciones de modelos para evaluar la contribución del procesamiento integrado de la información de los LLM.
• Las redes neuronales profundas fueron entrenadas para mapear las entradas de imagen a las representaciones de LLM.

Principales resultados:

• Las incorporaciones de LLM de subtítulos de escenas caracterizaron con éxito la actividad cerebral, permitiendo una reconstrucción precisa de subtítulos de escenas a partir de datos neuronales.
• La precisión del mapeo cerebral LLM proviene de la capacidad de los LLM para integrar información compleja más allá de las palabras individuales.
• Las redes neuronales profundas entrenadas lograron una alineación superior con las representaciones cerebrales en comparación con los modelos de última generación, a pesar de los datos de entrenamiento limitados.

Conclusiones:

• Las incorporaciones de LLM de subtítulos de escenas ofrecen un formato de representación valioso para comprender el procesamiento complejo de información visual en el cerebro.
• Este enfoque proporciona un marco cuantitativo para el estudio de la cognición visual y sus fundamentos neuronales.
• Los hallazgos destacan el potencial de los modelos de IA en la investigación de las neurociencias para decodificar las representaciones cerebrales.