PestScope: Modelo multimodal de gran tamaño consciente de la exclusión para la segmentación de plagas agrícolas de...

Área de la Ciencia:

• Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador
• Tecnología Agrícola Tecnología agrícola.
• La inteligencia artificial es inteligencia artificial.

Sus antecedentes:

• Los modelos de segmentación de razonamiento (RS) existentes carecen de conocimientos específicos de dominio para la agricultura, luchando con apariencias de plagas similares y pequeñas escalas objetivo.
• La segmentación precisa de las plagas agrícolas es crucial para la medición precisa de la superficie y el análisis de la densidad, tareas que no se abordan bien con los métodos de detección actuales.

Objetivo del estudio:

• Introducir una tarea de RS de plagas de grano fino, que incluya la segmentación de expresiones de referencia discriminativas de plagas (PDRES) y la segmentación de razonamiento de exclusión de plagas (PERS).
• Proponer PestScope, un nuevo modelo que integra la visión, el lenguaje y el razonamiento para mejorar la segmentación de plagas de grano fino en la agricultura.
• Para abordar la escasez de conjuntos de datos RS de plagas de grano fino y de dificultad controlable a través de una tubería de construcción automatizada de conjuntos de datos.

Principales métodos:

• Desarrolló PestScope, que incorpora tokens dedicados [NON] y [SEG] para priorizar las pequeñas plagas objetivo y suprimir las regiones no objetivo.
• Se introdujo una pérdida de supresión de exclusividad para diferenciar la supervisión de los tokens [SEG] y [NON], mejorando la separación de plagas objetivo y no objetivo.
• Creó una tubería de construcción de conjuntos de datos automatizados que genera 45k (PDRES) y 27.6k (PERS) muestras de máscaras de imagen-texto en 18 categorías de plagas.

Principales resultados:

• La integración de PestScope mejoró el gIoU promedio en un 4.28% (PDRES) y 6.49% (PERS) en escenarios de plagas pequeñas y similares.
• Demostró fuertes capacidades de generalización, con aumentos de GIoU del 21,72% (PDRES) y del 8,66% (PERS) para las categorías de plagas no vistas.
• La tubería de construcción automatizada de conjuntos de datos generó con éxito un conjunto de datos RS de plagas de granos finos a gran escala.

Conclusiones:

• PestScope aborda efectivamente los desafíos de la segmentación de plagas de grano fino en la agricultura, particularmente para tipos de plagas pequeñas y similares.
• Los métodos y el conjunto de datos propuestos avanzan significativamente las capacidades de segmentación de razonamiento en aplicaciones agrícolas.
• El fuerte rendimiento del modelo en categorías de plagas no vistas destaca su potencial para el monitoreo y manejo de plagas agrícolas en el mundo real.