VIDHALLUC: Evaluación de las alucinaciones temporales en modelos multimodales de lenguaje grande para la comprensión...

Área de la Ciencia:

• Inteligencia artificial
• Visión por computadora
• Aprendizaje automático

Sus antecedentes:

• Los modelos multimodales de lenguaje grande (MLLM) demuestran capacidades avanzadas de comprensión de video.
• La alucinación, la generación de contenido inexacto, es un desafío importante en el análisis de video MLLM.
• Los codificadores visuales MLLM existentes a menudo confunden contenido de video visualmente similar pero semánticamente distinto.

Objetivo del estudio:

• Introducir VIDHALLUC, el mayor punto de referencia para evaluar las alucinaciones MLLM en la comprensión de video.
• Evaluar la vulnerabilidad de MLLM a las alucinaciones a través de la acción, la secuencia temporal y la transición de la escena.
• Proponer DINO-HEAL, un nuevo método para mitigar las alucinaciones de vídeo.

Principales métodos:

• Desarrollo del índice de referencia VIDHALLUC que incluye 5.002 vídeos emparejados.
• Pruebas exhaustivas de varios MLLM en el índice de referencia VIDHALLUC.
• Introducción de DINO-HEAL, una técnica libre de entrenamiento que utiliza la saliencia espacial DINOv2 para el nuevo peso de las características.

Principales resultados:

• La mayoría de los MLLM exhiben alucinaciones significativas a través de la acción, la secuencia temporal y las dimensiones de transición de la escena.
• DINO-HEAL reduce efectivamente las alucinaciones en pacientes con MLLM.
• DINO-HEAL logró una mejora promedio del 3,02% en la mitigación de alucinaciones en diferentes tareas.

Conclusiones:

• Los MLLM son susceptibles a las alucinaciones en las tareas de comprensión de video.
• El índice de referencia VIDHALLUC proporciona un recurso fundamental para evaluar y abordar estas limitaciones.
• DINO-HEAL ofrece una solución práctica y efectiva para reducir las alucinaciones de video MLLM sin reentrenamiento.