Asignación de recursos asistida por DT mediante aprendizaje de imitación adversaria generativa en escenarios...

Área de la Ciencia:

• Ciencias de la Computación
• Inteligencia Artificial
• Computación Distribuida

Sus antecedentes:

• El Aprendizaje Profundo por Refuerzo (DRL) tradicional para la asignación de recursos de computación en la nube-borde-extremo depende en gran medida de parámetros conocidos y recompensas en tiempo real.
• Esta dependencia plantea desafíos en escenarios complejos que requieren toma de decisiones dinámica.
• Los métodos existentes luchan con la entrega efectiva de servicios cuando el conocimiento previo o la retroalimentación son limitados.

Objetivo del estudio:

• Proponer un novedoso modelo E-GAIL impulsado por Expertos para la asignación conjunta de múltiples recursos en sistemas nube-borde-extremo.
• Permitir una asignación de recursos eficiente sin requerir conocimiento previo del estado ni retroalimentación de recompensas en tiempo real.
• Abordar las limitaciones del DRL tradicional en entornos de computación complejos y dinámicos.

Principales métodos:

• Desarrollado un modelo E-GAIL asistido por DT que aprovecha el aprendizaje de imitación para la asignación de recursos.
• Introducido un algoritmo de generación de trayectoria de experto único utilizando Actor-Critic y Noisynet con datos históricos de la Red DT.
• Fusionado múltiples trayectorias de experto único en una trayectoria de múltiples expertos, utilizando el equilibrio de Nash para resolver conflictos y encontrar soluciones óptimas.
• Actualizado los parámetros del generador y discriminador de E-GAIL a través de gradientes para que coincidan con la trayectoria de múltiples expertos.

Principales resultados:

• El Agente E-GAIL obtiene rápidamente políticas de asignación de recursos tras la carga de tareas, independientemente del conocimiento previo o las recompensas en tiempo real.
• Los resultados experimentales demuestran la capacidad de E-GAIL para obtener la trayectoria experta más adecuada en entornos ruidosos y a gran escala.
• El modelo propuesto maneja eficazmente la asignación conjunta de múltiples recursos restringidos.

Conclusiones:

• El modelo E-GAIL asistido por DT ofrece una solución robusta para la asignación de recursos en computación en la nube-borde-extremo, especialmente en escenarios complejos y con escasez de datos.
• E-GAIL supera las limitaciones del DRL tradicional al utilizar el aprendizaje de imitación y la fusión de múltiples expertos.
• Este enfoque mejora la velocidad y precisión de la toma de decisiones en entornos de computación dinámicos y a gran escala.