PlantSAM: Una tubería de segmentación impulsada por detección de objetos para especímenes de herbario

Área de la Ciencia:

• Botánica; Ciencias de la Computación; Imágenes Digitales

Sus antecedentes:

• La clasificación de imágenes de herbario utilizando aprendizaje profundo enfrenta desafíos debido a fondos heterogéneos.; El ruido de fondo y los artefactos pueden desviar los modelos y reducir la precisión de la clasificación.

Objetivo del estudio:

• Desarrollar una tubería de segmentación automatizada, PlantSAM, para mejorar el análisis de imágenes de herbario.; Mejorar la precisión de la clasificación basada en aprendizaje profundo de rasgos botánicos a partir de imágenes de herbario.

Principales métodos:

• PlantSAM integra YOLOv10 para la detección de objetos y el Modelo de Segmentación de Cualquier Cosa (SAM2) para la segmentación.; Tanto YOLOv10 como SAM2 se ajustaron finamente en imágenes de herbario, y YOLOv10 proporcionó indicaciones de cuadros delimitadores para SAM2.; El rendimiento se evaluó utilizando el coeficiente de Intersection over Union (IoU) y Sørensen-Dice.

Principales resultados:

• PlantSAM logró un rendimiento de segmentación de última generación con una IoU de 0.94 y un coeficiente de Sørensen-Dice de 0.97.; La integración de imágenes segmentadas en modelos de clasificación mejoró el rendimiento en cinco rasgos botánicos.; Las ganancias de precisión alcanzaron hasta un 4,36% y las mejoras en la puntuación F1 alcanzaron un 4,15%.

Conclusiones:

• La eliminación del fondo es crucial para mejorar el análisis de imágenes de herbario.; La segmentación automatizada mejora la capacidad de los modelos de aprendizaje profundo para centrarse en las estructuras de las plantas, lo que conduce a mejores resultados de clasificación.