Desvelando el impacto del conocimiento del dominio y la escala de datos en la especialización de modelos de lenguaje...

Área de la Ciencia:

• Bioenergía; Inteligencia Artificial; Biotecnología

Sus antecedentes:

• La digestión anaeróbica (AD) es crucial para la producción de bioenergía.; Los modelos de lenguaje grandes (LLM) de código abierto muestran potencial para la integración del conocimiento científico.; La integración efectiva de datos específicos del dominio es clave para el rendimiento de los LLM en campos especializados.

Objetivo del estudio:

• Desarrollar un sistema automatizado para extraer pares de preguntas y respuestas de alta calidad sobre digestión anaeróbica (AD) de la literatura científica.; Ajustar modelos de lenguaje grandes (LLM) de código abierto utilizando datos de AD extraídos.; Evaluar el rendimiento de los LLM ajustados en dominios especializados de AD.

Principales métodos:

• Desarrollo de un sistema de agente automatizado para la extracción de datos de literatura.; Ajuste fino de tres LLM de código abierto utilizando conjuntos de datos curados de preguntas y respuestas de AD.; Evaluación experta del rendimiento de los LLM en la comprensión y el razonamiento del conocimiento especializado de AD.

Principales resultados:

• El modelo Llama3.1-8B-AD (LAD) ajustado demostró una competitividad profesional en AD, con una comprensión del conocimiento que se acerca a GPT-4 (0.67 frente a 0.68).; LAD mostró un rendimiento competitivo o superior en temas avanzados de AD, incluido el conocimiento sobre aditivos y microbios.; Los conjuntos de datos de entrenamiento completos mejoraron significativamente la comprensión profesional (de 0.60 a 0.67), especialmente para preguntas complejas, mientras que los datos parciales provocaron alucinaciones de conocimiento.

Conclusiones:

• Los LLM de código abierto ajustados, en particular LAD, ofrecen un enfoque viable para avanzar en la investigación de la digestión anaeróbica (AD) y las aplicaciones de bioenergía.; Los datos de dominio completos son esenciales para una comprensión profunda y un razonamiento preciso en AD por parte de los LLM.; Este estudio establece un paradigma para el desarrollo de sistemas inteligentes de bioenergía utilizando LLM.