Armar el sesgo cognitivo en sistemas autónomos: un marco para ataques de inferencia de caja negra

Área de la Ciencia:

• Inteligencia artificial
• Ciencias cognitivas
• Sistemas autónomos

Sus antecedentes:

• Los sistemas autónomos en entornos de alta dimensión utilizan heurísticas de priorización para la atención y la evaluación de riesgos.
• Estas heurísticas pueden introducir sesgos cognitivos (saliencia, encuadre espacial, familiaridad temporal) que afectan la toma de decisiones.
• El acceso limitado a los sistemas de visión incorporados requiere métodos de diagnóstico alternativos.

Objetivo del estudio:

• Introducir la inversión de prioridades a través del razonamiento operativo (PRIOR), un marco de diagnóstico de caja negra.
• Para sondear las vulnerabilidades de nivel de inferencia en sistemas autónomos utilizando señales estructuralmente sesgadas y semánticamente neutrales.
• Evaluar el PRIOR utilizando grandes modelos de lenguaje (LLM) como proxies para la priorización cognitiva en escenarios de vigilancia simulados.

Principales métodos:

• Desarrollado PRIOR, un marco de diagnóstico no perturbador.
• Empleó señales de escenario estructuralmente sesgadas pero semánticamente neutrales.
• Utilizó LLM como proxies de razonamiento abstracto para la vigilancia simulada de vehículos aéreos no tripulados (UAV).

Principales resultados:

• Las señales estructurales mínimas indujeron inversiones de prioridad consistentes en múltiples LLM.
• El análisis de las justificaciones y las estimaciones de confianza reveló distorsiones sistemáticas en la relevancia de la amenaza inferida.
• Las entradas simétricas no impidieron estas distorsiones en la lógica de priorización.

Conclusiones:

• El razonamiento a nivel de inferencia en los sistemas de caja negra es frágil.
• Las estrategias de evaluación deben interrogar la lógica de priorización interna, no sólo la corrección de la salida.
• Los hallazgos tienen implicaciones para los agentes dinámicos, incorporados y visualmente conectados a tierra en las implementaciones del mundo real.