EdgeVidCap: Un modelo ligero de subtítulos de video de canal espacial y doble rama para cámaras de borde de IoT

Área de la Ciencia:

• Inteligencia artificial
• Visión por computadora
• Internet de las cosas

Sus antecedentes:

• Las cámaras de borde inteligentes con computación de borde e integración de IoT permiten la comprensión de video local.
• Los modelos de subtítulos de video existentes son computacionalmente intensivos, lo que dificulta el despliegue en dispositivos IoT con recursos limitados.

Objetivo del estudio:

• Desarrollar un modelo ligero de subtítulos de video, EdgeVidCap, para un procesamiento eficiente en tiempo real en cámaras de borde de IoT.
• Para abordar las limitaciones de la alta complejidad computacional y los grandes recuentos de parámetros en las soluciones actuales de subtítulos de video.

Principales métodos:

• Propuso un módulo de Mamba de estado de atención sinérgica (SASM) que combina la atención del canal y los modelos de espacio de estado (SSM) para el modelado eficiente de las características espaciotemporales.
• Desarrolló un decodificador LSTM adaptativo guiado por la atención para la generación de subtítulos auto-regresivos con ponderación dinámica de características.
• Implementó un mecanismo de filtrado de marco simplificado para mejorar la eficiencia del procesamiento.

Principales resultados:

• EdgeVidCap demostró una mayor precisión en comparación con los métodos de subtítulos de video existentes en los conjuntos de datos MSR-VTT y MSVD.
• El modelo logró una mayor eficiencia de procesamiento debido a su filtrado de marco simplificado.
• Generó descripciones textuales más confiables después de la selección del marco.

Conclusiones:

• EdgeVidCap ofrece una solución efectiva para el subtítulo de video ligero en dispositivos de borde de IoT.
• El módulo SASM propuesto y el descodificador adaptativo LSTM contribuyen a una comprensión de vídeo eficiente y precisa.
• El modelo cumple con los requisitos de procesamiento en tiempo real para entornos de computación de borde con recursos limitados.