Extraer información nutricional de las etiquetas bilingües de los alimentos mediante el uso de grandes modelos...

Área de la Ciencia:

• Ciencias de la alimentación
• Lingüística computacional
• Inteligencia artificial

Sus antecedentes:

• Las etiquetas de los productos alimenticios son vitales para los consumidores y los organismos reguladores como la Administración de Alimentos y Medicamentos (FDA).
• La transcripción manual de etiquetas de alimentos multilingües requiere mucha mano de obra y es propensa a errores.
• Automatizar la extracción de información nutricional de las imágenes es crucial para las plataformas de comestibles en línea.

Objetivo del estudio:

• Investigar la eficacia de los grandes modelos lingüísticos para extraer los datos nutricionales de las etiquetas multilingües de los productos alimenticios.
• Comparar el rendimiento de diferentes LLM (GPT-4o, GPT-4V, Gemini) en las etiquetas de los alimentos en inglés y árabe.
• Evaluar el impacto de las técnicas de posprocesamiento en la mejora de la precisión de la extracción.

Principales métodos:

• Se creó un conjunto de datos seleccionado de 294 etiquetas de productos alimenticios con 588 elementos y valores nutricionales transcritos en inglés y árabe.
• Se emplearon LLM para extraer información nutricional de las imágenes de las etiquetas.
• Se utilizaron análisis empíricos y técnicas de posprocesamiento para evaluar y mejorar la precisión de la extracción.

Principales resultados:

• Los LLM demostraron una mayor precisión en la extracción de datos nutricionales en inglés en comparación con el árabe.
• Las técnicas de posprocesamiento mejoraron sustancialmente la precisión general de la extracción de elementos nutricionales y de valor.
• GPT-4o logró un rendimiento superior a GPT-4V y Gemini en esta tarea.

Conclusiones:

• Los LLM son prometedores para automatizar la extracción de información nutricional de las etiquetas de los alimentos.
• Se necesitan avances adicionales en las capacidades de LLM y en el posprocesamiento para superar los desafíos con los datos multilingües, en particular el árabe.
• Las soluciones optimizadas basadas en LLM pueden mejorar la accesibilidad y la precisión de los datos para el cumplimiento normativo y la información al consumidor.