REaMA: Construcción de Relaciones Biomédicas Extracción de Modelos de Lenguajes Especializados a través de la...

Área de la Ciencia:

• Informática biomédica
• Procesamiento del lenguaje natural
• Inteligencia artificial

Sus antecedentes:

• La extracción de relaciones biomédicas (BioRE) es crucial para comprender la literatura biomédica.
• Los modelos generales de lenguaje grande (LLM) muestran limitaciones en tareas especializadas de BioRE.
• Los LLM de código abierto existentes tienen un rendimiento inferior en comparación con los métodos de última generación (SOTA) en BioRE.

Objetivo del estudio:

• Desarrollar modelos especializados de lenguaje grande (LLM) para la extracción de relaciones biomédicas (BioRE).
• Abordar la brecha de rendimiento de los LLM generales en las tareas de BioRE.
• Introducir un marco y un conjunto de datos de ajuste de instrucciones multitarea (REInstruct) para BioRE.

Principales métodos:

• Desarrolló un marco de ajuste de instrucciones multitarea utilizando el conjunto de datos REInstruct (150,000 pares).
• Creado REaMA, una serie de LLM de código abierto (parámetros 7B y 13B) para BioRE.
• Se evaluaron los modelos REaMA en siete conjuntos de datos BioRE diferentes.

Principales resultados:

• Los modelos REaMA demuestran un buen rendimiento en múltiples conjuntos de datos BioRE.
• REaMA-2-13B supera el método SOTA en cinco de los siete conjuntos de datos.
• El ajuste de instrucciones con REInstruct mejora efectivamente las capacidades de BioRE de los LLM.

Conclusiones:

• El conjunto de datos REInstruct y el marco de ajuste de instrucciones multitarea mejoran significativamente el rendimiento de LLM en BioRE.
• Los modelos REaMA representan un avance sustancial en las herramientas BioRE de código abierto.
• La incorporación de la Cadena de Pensamiento (CoT) aumenta aún más la capacidad de generalización de REaMA.