Surfer: Un marco basado en el modelo mundial para la manipulación de robots de lenguaje visual

Área de la Ciencia:

• La robótica
• Inteligencia artificial
• Visión por computadora
• Procesamiento del lenguaje natural

Sus antecedentes:

• La manipulación de robots enfrenta desafíos en la comprensión de las instrucciones del lenguaje natural y la incorporación del conocimiento del mundo.
• Los métodos existentes a menudo carecen de un modelado explícito del conocimiento mundial y operan en entornos de simulación simplificados.
• Los agentes de IA incorporados requieren un modelo de mundo robusto para la ejecución precisa de tareas.

Objetivo del estudio:

• Para introducir Surfer, un nuevo marco para la manipulación de robots que modela explícitamente el conocimiento del mundo.
• Mejorar las capacidades de generalización para nuevas instrucciones y escenas en la manipulación de robots.
• Proporcionar una simulación realista y un punto de referencia para evaluar la manipulación de robots basada en el lenguaje de la visión.

Principales métodos:

• Surfer modela la manipulación del robot como una transferencia visual del estado de la escena, desacoplando la acción y la predicción de la escena.
• El marco utiliza información multimodal para mejorar la acción y la predicción de la escena.
• Se desarrolló una plataforma de simulación basada en la física que utiliza el motor MuJoCo para la generación y prueba de datos.

Principales resultados:

• Surfer demostró un rendimiento superior en todas las tareas de manipulación en el punto de referencia SeaWave.
• El marco logró una tasa de éxito promedio del 54,74%, superando el mejor nivel de referencia en un 3,67%.
• Extensivos experimentos confirmaron la efectividad de Surfer en la comprensión del lenguaje visual y la ejecución física.

Conclusiones:

• Surfer ofrece un avance significativo en la manipulación de robots al integrar el modelado del conocimiento mundial.
• El punto de referencia y el simulador desarrollados facilitan la evaluación estandarizada de los agentes de IA incorporados.
• El marco muestra un gran potencial para aplicaciones del mundo real que requieren un seguimiento de instrucciones matizado e interacción física.