Modelo Fundacional Potenciado para Videoconferencias en Tiempo Real con Comunicaciones Semánticas

Área de la Ciencia:

• Visión por Computadora para Comunicaciones; Servicios Multimedia; Modelos Fundacionales de Inteligencia Artificial

Sus antecedentes:

• Las videoconferencias en tiempo real generan un tráfico sustancial debido a la proliferación de servicios multimedia interactivos.
• Las técnicas existentes de Visión por Computadora (CV) carecen de integración para diversas tareas de video interactivas como el reconocimiento y la segmentación.
• El auge de los modelos fundacionales presenta oportunidades para las comunicaciones semánticas orientadas a tareas.

Objetivo del estudio:

• Proponer un nuevo marco, Videoconferencia en Tiempo Real con Modelo Fundacional (RTVCFM), para mejorar la interactividad en servicios multimedia.
• Abordar las limitaciones de los métodos actuales de CV para manejar demandas complejas de video interactivo.
• Aprovechar los modelos fundacionales para una transmisión de video eficiente y de alta fidelidad.

Principales métodos:

• En el transmisor: Comprensión causal y desacoplamiento espaciotemporal utilizando el Modelo de Lenguaje Grande Temporal de Video (VTimeLLM), Atribuciones Integradas Iteradas (IIA) y el Modelo de Segmentación de Cualquier Cosa 2 (SAM2) para la segmentación semántica.
• Durante la transmisión: Optimización de la transmisión semántica en dos etapas impulsada por la Información del Estado del Canal (CSI) para baja tasa de bits y alta fidelidad semántica.
• En el receptor: Fusión multidimensional utilizando el Modelo de Difusión para la Fusión de Primer Plano y Fondo (DMFBF) para la reconstrucción de la transmisión de video.

Principales resultados:

• Se logró una relación de compresión de hasta el 95,6 %.
• Se garantizó una alta similitud semántica con un 98,73 % en el Índice de Similitud Estructural Multi-Escala (MS-SSIM) y un 98,35 % en la Similitud Estructural (SSIM).
• Se demostró que los videos reconstruidos son muy similares a los videos originales.

Conclusiones:

• RTVCFM satisface eficazmente los requisitos de interactividad de los servicios multimedia en tiempo real.
• El marco propuesto permite una compresión de video significativa preservando una alta fidelidad semántica.
• Este enfoque muestra el potencial de los modelos fundacionales en el avance de la visión por computadora para las comunicaciones.