Refinamiento Reforzado con Expansión Autoconsciente para Conducción Autónoma de Extremo a Extremo

Área de la Ciencia:

• Inteligencia Artificial
• Robótica
• Ciencias de la Computación

Sus antecedentes:

• Los modelos de conducción autónoma de extremo a extremo mapean datos de sensores a acciones de conducción.
• Los modelos existentes de aprendizaje por imitación (IL) tienen dificultades para generalizar a situaciones de conducción difíciles y carecen de retroalimentación posterior al despliegue.
• El aprendizaje por refuerzo (RL) puede abordar casos complejos, pero a menudo conduce a sobreajuste y al olvido del conocimiento general.

Objetivo del estudio:

• Introducir un nuevo pipeline de aprendizaje, Refinamiento Reforzado con Expansión Autoconsciente (R2SE), para la conducción autónoma de extremo a extremo.
• Mejorar la generalización a casos difíciles y garantizar la mejora continua de las políticas de conducción.
• Superar las limitaciones de los enfoques actuales de IL y RL en la conducción autónoma.

Principales métodos:

• R2SE emplea un pipeline de tres componentes: Preentrenamiento Generalista con asignación de casos difíciles, Ajuste Fino Especialista Reforzado Residual y Expansión Adaptadora Autoconsciente.
• El Preentrenamiento Generalista identifica los casos propensos a fallos para un refinamiento específico.
• El Ajuste Fino Especialista Reforzado Residual utiliza RL para optimizar el rendimiento en dominios difíciles, preservando al mismo tiempo el conocimiento general.

Principales resultados:

• R2SE demuestra una generalización, seguridad y robustez de políticas de largo alcance mejoradas en comparación con los sistemas de extremo a extremo (E2E) de última generación.
• El método refina eficazmente el rendimiento en escenarios de conducción desafiantes.
• Los resultados experimentales se validaron tanto en simulaciones de bucle cerrado como en conjuntos de datos del mundo real.

Conclusiones:

• El refinamiento reforzado ofrece una estrategia eficaz para sistemas de conducción autónoma escalables.
• R2SE permite la mejora continua de las políticas de conducción mediante la integración dinámica de conocimientos especializados.
• El pipeline propuesto aborda los desafíos clave en la generalización y la robustez para la conducción autónoma E2E.