Aprovechar el poder de los modelos pre-entrenados para una comunicación semántica eficiente de texto e imágenes

Área de la Ciencia:

• Comunicaciones digitales
• Teoría de la información
• Aprendizaje automático

Sus antecedentes:

• Las comunicaciones semánticas digitales multimodales son cruciales para los sistemas orientados a tareas que requieren la clasificación de mensajes.
• Los métodos existentes pueden carecer de eficiencia en la extracción y transmisión de información semántica.

Objetivo del estudio:

• Investigar las comunicaciones semánticas digitales multimodales punto a punto.
• Proponer y evaluar nuevos métodos de codificación semántica de fuentes para una mayor eficiencia y precisión.

Principales métodos:

• El uso de un modelo de transformador pre-entrenado para la extracción de información semántica.
• Proponer tres métodos de generación de palabras clave semánticas: cuantización semántica, compresión semántica y un autoencoder cuantizado por vectores semánticos (VQ-AE).
• Integración de la codificación semántica de origen con la codificación de canal estándar para la transmisión inalámbrica.

Principales resultados:

• Los enfoques de codificación semántica de origen propuestos logran una precisión comparable a los métodos basados en el aprendizaje.
• Los nuevos métodos demuestran una eficiencia superior del tiempo del sistema, medida por una nueva métrica.
• La cuantización semántica, la compresión y el VQ-AE generan efectivamente palabras clave semánticas.

Conclusiones:

• Las técnicas de codificación semántica desarrolladas ofrecen un equilibrio prometedor de precisión y eficiencia para los sistemas de comunicación multimodal.
• La eficiencia del tiempo del sistema es una métrica crítica para evaluar la sobrecarga de la comunicación.
• Estos métodos avanzan en el campo de las comunicaciones semánticas en aplicaciones orientadas a tareas.