KBNet: Un marco multimodal de fusión de lenguaje y visión para la segmentación de enfermedades del arroz

Área de la Ciencia:

• Ciencias Agrícolas
• Visión por computadora
• Aprendizaje profundo

Sus antecedentes:

• La segmentación precisa de las enfermedades del arroz es vital para el manejo del cultivo.
• Los modelos de aprendizaje profundo existentes luchan con lesiones de múltiples escalas e irregularidades.

Objetivo del estudio:

• Desarrollar un nuevo marco para la segmentación precisa de las enfermedades de la hoja de arroz.
• Para abordar las limitaciones de los métodos actuales en el manejo de las características complejas de la lesión.

Principales métodos:

• Propuso KBNet, un marco multimodal que combina las arquitecturas CNN y Transformer.
• Se introdujeron las redes mejoradas de Kolmogorov-Arnold (KF-KAN) para la extracción de lesiones a escala múltiple.
• Se desarrolló una red neuronal de información física con restricciones de límites (BC-PINN) para modelar lesiones irregulares utilizando priores físicos.

Principales resultados:

• KBNet demostró un rendimiento sólido en la segmentación de patrones de enfermedades del arroz diversos y complejos.
• El módulo KF-KAN efectivamente extrajo y fusionó información de lesiones de múltiples escalas.
• El módulo BC-PINN mejoró la precisión de segmentación para lesiones y límites irregulares.

Conclusiones:

• KBNet ofrece un avance significativo en la tecnología de segmentación de enfermedades del arroz.
• El marco proporciona un valioso apoyo técnico para la agricultura inteligente, la identificación y la gestión de enfermedades.
• KBNet muestra potencial para una amplia aplicación en el monitoreo agrícola y los sistemas inteligentes.