C³aptioner: Mejorar el subtítulo del cambio aprovechando la visión cruzada del impulso y el aprendizaje contrastante...

Área de la Ciencia:

• Visión por computadora
• Procesamiento del lenguaje natural
• Inteligencia artificial

Sus antecedentes:

• El subtítulo de cambio tiene como objetivo describir las diferencias visuales entre las imágenes.
• Los métodos existentes se centran en detectar y describir los cambios, descuidando los elementos persistentes y los vínculos con el lenguaje visual.
• El subtítulo de cambio efectivo requiere describir tanto los cambios como los elementos semánticos inalterados, vinculando las señales visuales al lenguaje.

Objetivo del estudio:

• Desarrollar un modelo avanzado de subtitulado de cambios, C3aptioner, que aborde las limitaciones del trabajo anterior.
• Mejorar las descripciones incorporando tanto la información visual cambiada como la inalterada.
• Establecer una conexión sólida entre las características visuales y las descripciones lingüísticas.

Principales métodos:

• El modelo C3aptioner utiliza objetivos de aprendizaje de doble impulso.
• Emplea codificadores de Transformador intra-imagen e inter-imagen para la extracción de características visuales.
• Los objetivos de aprendizaje transversal y de contraste entre modalidades alinean las representaciones visuales y textuales, abordando las variaciones de puntos de vista y las brechas de modalidad.

Principales resultados:

• El modelo C3aptioner alcanza un rendimiento de vanguardia en cinco conjuntos de datos.
• Se observaron mejoras significativas en escenarios desafiantes con cambios extremos de punto de vista.
• El enfoque de doble contraste modela efectivamente tanto los elementos cambiados como los inalterados, mejorando la correspondencia entre el lenguaje de la visión.

Conclusiones:

• C3aptioner proporciona descripciones de cambio más ricas contextualmente y similares a las humanas.
• La estrategia de aprendizaje de doble contraste propuesta es efectiva para el subtítulo del cambio.
• El modelo demuestra un rendimiento superior, particularmente en el manejo de las variaciones de punto de vista.