Cuantificación de la similitud de la representación relevante para la tarea mediante la correlación de la variable de...

Área de la Ciencia:

• Neurociencia
• Inteligencia Artificial
• Visión por Computadora

Sus antecedentes:

• La comparación de las representaciones neuronales en la corteza visual con las redes neuronales profundas (DNN) es crucial para comprender la visión biológica y artificial.
• Estudios anteriores muestran resultados mixtos con respecto a la similitud entre las actividades neuronales y las representaciones de las DNN.
• Se necesita un nuevo método para evaluar específicamente las estrategias de decisión relevantes para la tarea, no solo la alineación general de la representación.

Objetivo del estudio:

• Proponer y evaluar la correlación de la variable de decisión (DVC) como un enfoque novedoso para cuantificar la similitud de las estrategias de decisión entre observadores (cerebros o modelos).
• Comparar las representaciones relevantes para la tarea de la corteza visual del mono (V4/IT) con las de las DNN entrenadas en la clasificación de imágenes.

Principales métodos:

• Desarrollo de la correlación de la variable de decisión (DVC) para medir la correlación imagen por imagen de las decisiones decodificadas a partir de representaciones internas.
• Recopilación de registros neuronales del V4/IT del mono durante una tarea de clasificación.
• Utilización de varias DNN entrenadas en tareas de clasificación de imágenes, incluidas aquellas con entrenamiento adversario y preentrenamiento en grandes conjuntos de datos.

Principales resultados:

• La similitud entre modelos y entre monos fue comparable, pero la similitud entre modelos y monos fue consistentemente menor.
• La correlación de la variable de decisión (DVC) disminuyó a medida que mejoró el rendimiento del modelo en ImageNet-1k.
• El entrenamiento adversario y el preentrenamiento en grandes conjuntos de datos no mejoraron la similitud entre modelos y monos en las dimensiones relevantes para la tarea.

Conclusiones:

• La correlación de la variable de decisión (DVC) captura eficazmente la información relevante para la tarea, revelando diferencias en las estrategias de decisión.
• Las representaciones relevantes para la tarea en el V4/IT del mono divergen de las aprendidas por las DNN estándar de clasificación de imágenes.
• Los métodos actuales de entrenamiento de DNN no cierran completamente la brecha en las estrategias de toma de decisiones en comparación con la visión biológica.