El desarrollo y la evaluación de sistemas de respuesta a preguntas agrícolas basados en modelos de lenguaje grandes

Área de la Ciencia:

• Ciencia Agrícola
• Inteligencia Artificial
• Procesamiento del Lenguaje Natural

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) exhiben capacidades avanzadas en diversos dominios.
• Las aplicaciones actuales de los LLM en agricultura siguen siendo limitadas y subdesarrolladas.
• Existe la necesidad de evaluar de manera integral el rendimiento de los LLM para tareas específicas de agricultura.

Objetivo del estudio:

• Realizar una evaluación integral de los modelos de lenguaje grandes (LLM) en el dominio agrícola.
• Evaluar la efectividad de diferentes estrategias de indicaciones (Zero-Shot, CoT, Self-Consistency, ToT) y la Ingeniería Automática de Indicaciones (APE) para la respuesta a preguntas agrícolas.
• Analizar el impacto de los métodos de indicaciones en la precisión y consistencia de las respuestas generadas por LLM.

Principales métodos:

• Desarrollo de un conjunto de preguntas de opción múltiple que cubren temas generales, horticultura y producción de cultivos en niveles fácil, medio y difícil.
• Generación de respuestas utilizando los LLM GPT-4o y Gemini-2.0-flash con diversas estrategias de indicaciones.
• Aplicación de un pipeline de indicaciones optimizado automáticamente utilizando Ingeniería Automática de Indicaciones (APE).
• Análisis estadístico de los resultados utilizando intervalos de confianza de bootstrap, pruebas t pareadas, ANOVA y medidas de tamaño del efecto.

Principales resultados:

• Los LLM mostraron éxito general en la respuesta a preguntas agrícolas, con un rendimiento que varía significativamente según el LLM y la estrategia de indicaciones empleada.
• Las estrategias de indicaciones y la elección del LLM influyeron tanto en la precisión como en la consistencia de las respuestas generadas.
• El análisis estadístico confirmó diferencias significativas en el rendimiento entre LLM, métodos de indicaciones, niveles de dificultad y categorías.

Conclusiones:

• Los LLM prometen significativamente para aplicaciones agrícolas, particularmente en sistemas de respuesta a preguntas.
• Las estrategias de indicaciones optimizadas son cruciales para mejorar el rendimiento y la fiabilidad de los LLM en dominios especializados como la agricultura.
• Esta investigación establece una base para el desarrollo de aplicaciones digitales inteligentes en agricultura adaptadas a expertos.