Control descentralizado de la cola con desplazamiento de retraso en Edge-IoT utilizando aprendizaje de refuerzo

Área de la Ciencia:

• Ciencias de la computación
• Ingeniería eléctrica
• Matemáticas aplicadas

Sus antecedentes:

• Los sistemas Edge-IoT se enfrentan a desafíos con crecientes demandas de eficiencia energética, capacidad de respuesta y autorregulación.
• Las condiciones de tráfico inestables en las redes periféricas requieren estrategias de gestión de servicios adaptativas.
• Los modelos existentes a menudo carecen de flexibilidad para manejar los requisitos dinámicos de calidad de servicio y gestión de la energía.

Objetivo del estudio:

• Desarrollar un enfoque adaptativo para el modelado y la gestión de los procesos de servicio de solicitudes en los nodos periféricos de los sistemas Edge-IoT.
• Mejorar la eficiencia energética, la capacidad de respuesta y la autorregulación en condiciones de tráfico fluctuantes.
• Proporcionar una solución escalable y independiente del tipo de tráfico para la calidad de servicio dinámica y la gestión de la energía.

Principales métodos:

• Se propuso un modelo estocástico G/G/1 con un desplazamiento de tiempo parametrizado para tener en cuenta la indisponibilidad del dispositivo.
• Las expresiones analíticas para los indicadores de calidad de servicio (retraso, variabilidad, pérdida, consumo de energía) se derivaron como funciones del parámetro de desplazamiento.
• Se implementó un agente de aprendizaje de refuerzo basado en Deep Q-Network (DQN) para el control descentralizado en tiempo real del parámetro de cambio.

Principales resultados:

• Demostró una reducción en el retraso promedio en un 17-26% en comparación con los modelos de última generación.
• Se ha logrado una disminución de las fluctuaciones en el tiempo de servicio y una mejor estabilidad de recuperación de la cola después de las cargas máximas.
• La solución propuesta es agnóstica del tipo de tráfico y escalable a través de diversas arquitecturas de borde.

Conclusiones:

• El enfoque adaptativo modela y gestiona de manera efectiva los procesos de servicio en los sistemas IoT de vanguardia, mejorando la calidad de servicio y la eficiencia energética.
• El agente basado en DQN proporciona un control dinámico y descentralizado, adaptándose a los estados de cola en tiempo real.
• Los hallazgos son aplicables a las redes de sensores, los escenarios de borde 5G/6G y los sistemas que requieren QoS dinámica y gestión de la energía.