Combinar el aprendizaje profundo con subtítulos de imágenes para la detección, clasificación e informes de...

Área de la Ciencia:

• Ciencias del medio ambiente
• Ciencias de la computación
• Planificación urbana

Sus antecedentes:

• El rápido desarrollo urbano en Arabia Saudita, incluidas las iniciativas de Saudi Vision 2030, ha llevado a desafíos ambientales como la contaminación visual (VP).
• Los métodos actuales de notificación de la VP se basan en la introducción manual de datos a través de una aplicación en línea, que es propensa a errores.
• Se necesitan sistemas automatizados y precisos para controlar y gestionar la calidad del medio ambiente urbano.

Objetivo del estudio:

• Proponer un marco impulsado por la IA para la detección, clasificación e información automáticas de la contaminación visual.
• Integrar modelos de aprendizaje profundo (YOLOv5, EfficientDet) con técnicas de conjunto para mejorar la detección de VP.
• Para utilizar Bootstrapping Language-Image Pre-training (BLIP) para la generación automática de descripciones de informes basados en imágenes.

Principales métodos:

• Desarrolló un marco de IA que combina los modelos YOLOv5 y EfficientDet para la detección visual de la contaminación.
• Técnicas de conjunto empleadas para mejorar el rendimiento de los modelos individuales de aprendizaje profundo.
• BLIP-2 integrado (específicamente BLIP2-Flan-T5-XL) para el subtitulado automático de imágenes para generar descripciones de informes.
• Utilizó el
• Datos de contaminación visual de las carreteras públicas de Arabia Saudita
• para el desarrollo y la evaluación del marco.

Principales resultados:

• El enfoque conjunto logró una precisión promedio (mAP) de 0,95, un recuerdo de 0,95, una precisión de 0,91 y una puntuación F1 de 0,93.
• Los modelos individuales fueron superados por el método conjunto en la detección de contaminación visual.
• El modelo BLIP2-Flan-T5-XL demostró una precisión del 80% en la generación de texto descriptivo para imágenes urbanas basadas en la evaluación humana.

Conclusiones:

• El marco de IA propuesto automatiza efectivamente la detección y notificación de contaminación visual, reduciendo significativamente los errores asociados con la entrada manual.
• La integración del aprendizaje profundo y el subtítulo de imágenes facilita la creación de informes supervisados por los ciudadanos, mejorando la gestión urbana.
• Este enfoque impulsado por la IA contribuye a mejorar la calidad de vida y promover el desarrollo urbano sostenible en las ciudades saudíes.