Un marco ligero de detección de pocos disparos tri-modal para el reconocimiento de la diversidad frutal hacia el...

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Tecnología Agrícola

Sus antecedentes:

• La detección de objetos de pocos disparos (FSOD) es crucial para la agricultura inteligente debido al alto costo de etiquetar diversos cultivares de frutas.
• Los entornos de huertos presentan desafíos significativos que incluyen oclusión, diferencias visuales sutiles y follaje denso, lo que complica el reconocimiento de objetos.

Objetivo del estudio:

• Desarrollar un marco de fusión tri-modal ligero para la detección de objetos de pocos disparos efectiva en entornos agrícolas complejos.
• Mejorar la precisión y eficiencia de la identificación de cultivares de frutas y el monitoreo agrícola.

Principales métodos:

• Un codificador de indicaciones semánticas basado en CLIP extrae señales conscientes de la categoría para guiar el Modelo de Segmentación de Cualquier Cosa (SAM) para generar máscaras que conservan la estructura.
• Un Módulo de Fusión Semántica (SFM), que comprende un Adaptador de Saliencia de Máscara (MSA) y un Recompositor de Mejora de Características (FER), integra máscaras con mapas de características.
• Un Estimador de Peso Consciente de la Atención (AWE) equilibra adaptativamente las corrientes semánticas y visuales, con predicciones finales de una cabeza de detección YOLOv12.

Principales resultados:

• El marco propuesto superó consistentemente a cinco bases de referencia FSOD representativas en cuatro puntos de referencia de detección de frutas (Cantaloupe.v2, Peach.v3, Watermelon.v2, Orange.v8).
• Se observaron ganancias significativas de rendimiento, incluyendo +7.9% AP@0.5 en Cantaloupe.v2, +5.4% de Precisión en Peach.v3, +7.4% de Precisión en Watermelon.v2 y +5.9% AP@0.75 en Orange.v8.

Conclusiones:

• El marco de fusión tri-modal desarrollado demuestra una alta efectividad para tareas de detección de objetos específicas de huertos.
• El método muestra un fuerte potencial para avanzar en la identificación de cultivares, el mantenimiento de registros digitales y el monitoreo rentable en la agricultura inteligente.