Evaluación de AutoML impulsado por grandes modelos de lenguaje en la gestión de datos y modelos desde una perspectiva...

Área de la Ciencia:

• Inteligencia artificial
• Operaciones de aprendizaje automático (MLOps)

Sus antecedentes:

• Las organizaciones se enfrentan a desafíos al adoptar el aprendizaje automático (ML) debido a la complejidad técnica.
• La implementación de soluciones de aprendizaje automático a menudo tiene un impacto en la eficiencia operativa y crea barreras para su adopción.

Objetivo del estudio:

• Investigar cómo los grandes modelos de lenguaje (LLM) pueden mejorar la accesibilidad de ML a través de un marco de aprendizaje automático centrado en el ser humano (AutoML).
• Evaluar el impacto organizacional de un enfoque AutoML basado en LLM en comparación con los métodos tradicionales de implementación de ML.

Principales métodos:

• Se llevó a cabo un estudio de usuario con 15 profesionales de diversos roles y antecedentes técnicos.
• El estudio comparó un marco de AutoML basado en LLM con las técnicas tradicionales de implementación de ML.
• Las métricas de rendimiento incluyeron tasas de éxito de implementación de ML, precisión, tiempo de desarrollo y tiempo de resolución de errores.

Principales resultados:

• Las interfaces basadas en LLM mejoraron significativamente las tasas de éxito de implementación de ML (93,34% de los usuarios).
• La precisión mejoró en un 10% -25% para el 46,67% de los usuarios y en un >25% para otro 46,67%.
• El tiempo de desarrollo se redujo en un 50%, el tiempo de resolución de errores en un 73% y las curvas de aprendizaje se aceleraron.

Conclusiones:

• AutoML basado en LLM democratiza las capacidades de ML al cerrar las brechas de habilidades técnicas a través de interfaces de lenguaje natural.
• Este enfoque mejora el éxito de la implementación de ML, reduce el tiempo de desarrollo y mejora la colaboración entre humanos y IA.
• La evidencia empírica apoya el lenguaje natural como una interfaz efectiva para sistemas técnicos complejos como ML.