Un método de explicabilidad de la visión para la generación de subtítulos de imágenes utilizando mapas de atención...

Área de la Ciencia:

• Inteligencia Artificial
• Visión por Computadora
• Procesamiento del Lenguaje Natural

Sus antecedentes:

• Los modelos de generación de subtítulos de imágenes a menudo funcionan como cajas negras, careciendo de transparencia en sus procesos de toma de decisiones.
• Existe la necesidad de IA explicable (XAI) en modelos de visión y lenguaje para generar confianza y fiabilidad.

Objetivo del estudio:

• Desarrollar un marco novedoso y explicable para la generación de subtítulos de imágenes que integre la explicabilidad visual.
• Abordar la brecha de transparencia en los modelos actuales de visión y lenguaje.

Principales métodos:

• Se utilizó un codificador de red neuronal convolucional (CNN) y una arquitectura de decodificador Transformer.
• Se integraron mapas de calor basados en la atención para proporcionar explicaciones visuales de los subtítulos generados.
• Se evaluó el rendimiento y la interpretabilidad en el conjunto de datos MS COCO utilizando métricas estándar (BLEU, METEOR, CIDER, SPICE).

Principales resultados:

• El marco propuesto ofrece transparencia en el proceso de toma de decisiones de la generación de subtítulos de imágenes.
• Los mapas de calor basados en la atención resaltan de manera efectiva las características visuales que influyen en la generación de subtítulos.
• El método equilibra la calidad de la generación de subtítulos con una mayor interpretabilidad.

Conclusiones:

• El marco desarrollado aumenta la confiabilidad y la transparencia en los sistemas de IA.
• Este enfoque es adecuado para aplicaciones críticas en atención médica, educación, seguridad y pronósticos.
• Contribuye al avance de la IA explicable al tender un puente entre el rendimiento y la interpretabilidad en los modelos de visión y lenguaje.