Mejorar el resumen del vídeo mediante la exploración de la coherencia entre los subtítulos correspondientes

Área de la Ciencia:

• Ciencias de la computación
• Inteligencia artificial
• Procesamiento multimedia

Sus antecedentes:

• Los métodos actuales de resumen de video a menudo producen resúmenes incoherentes debido a la falta de consideraciones holísticas del segmento.
• Optimizar la coherencia en los resúmenes de video es un desafío desde una perspectiva puramente visual.

Objetivo del estudio:

• Proponer una nueva red de conocimiento de la coherencia de segmentos guiada por el lenguaje (LS-CAN) para generar resúmenes de video más coherentes.
• Aprovechar la modalidad de texto para medir y optimizar la coherencia del segmento en la síntesis de video.

Principales métodos:

• Desarrolló el LS-CAN, integrando la coherencia guiada por el lenguaje en el reconocimiento de segmentos clave.
• Se introdujo un módulo de red neuronal correlacionada multigráfica (MGCNN) para medir la coherencia del texto en función de los sujetos, los atributos y las acciones.
• Utilizó grandes modelos de lenguaje para aumentar las anotaciones de coherencia de texto para mejorar el rendimiento del modelo.

Principales resultados:

• El LS-CAN mejora significativamente la coherencia de los resúmenes de vídeo.
• Los resultados experimentales muestran mejoras de última generación en el conjunto de datos BLiSS, con ganancias notables en las puntuaciones F1, tau y rho.
• Cada módulo propuesto dentro de LS-CAN demostró su eficacia para mejorar la calidad de los resúmenes.

Conclusiones:

• La integración de la coherencia del texto es una estrategia viable y eficaz para mejorar la síntesis de vídeo.
• El marco LS-CAN ofrece una dirección prometedora para crear resúmenes de video de mayor calidad y más fáciles de usar.
• El módulo MGCNN proporciona un método sólido para evaluar la coherencia del texto, contribuyendo a una mejor generación general de resúmenes.