VideoA11y: Método y conjunto de datos para la descripción de vídeo accesible

Área de la Ciencia:

• Ciencias de la computación
• Interacción hombre-ordenador
• Inteligencia artificial

Sus antecedentes:

• Las descripciones de vídeo son vitales para la accesibilidad de los usuarios ciegos y con baja visión (BLV).
• Las descripciones existentes generadas por IA a menudo carecen de calidad debido a las limitaciones de los datos de capacitación, y no satisfacen las necesidades de los usuarios de BLV.

Objetivo del estudio:

• Desarrollar un enfoque (VideoA11y) utilizando modelos multimodales de lenguaje grande (MLLM) y directrices de accesibilidad para generar descripciones de video de alta calidad para los usuarios de BLV.
• Para crear el conjunto de datos VideoA11y-40K, la mayor colección de videos descritos para usuarios de BLV.

Principales métodos:

• Aprovechar los MLLM y las directrices de accesibilidad de vídeo para generar descripciones.
• Curating el conjunto de datos VideoA11y-40K que incluye 40.000 videos descritos.
• Llevar a cabo experimentos con participantes videntes y BLV, y descriptores profesionales para evaluar la calidad de la descripción.

Principales resultados:

• Se encontró que las descripciones de VideoA11y eran superiores a las anotaciones de humanos novatos.
• Las descripciones generadas demostraron una calidad comparable a las anotaciones humanas entrenadas en claridad, precisión, objetividad, capacidad descriptiva y satisfacción del usuario.
• Los MLLM ajustados en el conjunto de datos VideoA11y-40K produjeron descripciones de video accesibles de alta calidad.

Conclusiones:

• El enfoque VideoA11y genera efectivamente descripciones de video accesibles para los usuarios de BLV.
• El conjunto de datos VideoA11y-40K y el ajuste fino MLLM avanzan en el campo de la accesibilidad de video.
• Este trabajo ofrece una solución escalable para mejorar el acceso al contenido visual para los individuos de BLV.