EvidenceMap: Aprender el análisis de la evidencia para liberar el poder de los pequeños modelos de lenguaje para...

Área de la Ciencia:

• Informática biomédica
• Inteligencia artificial
• Procesamiento del lenguaje natural

Sus antecedentes:

• Los modelos actuales de lenguaje grande (LLM) luchan con la respuesta a preguntas biomédicas debido al análisis insuficiente de la evidencia, el riesgo de alucinaciones y errores.
• El escalamiento de los LLM para un mejor rendimiento requiere una gran cantidad de recursos, lo que plantea desafíos para la capacitación y el despliegue.
• Los métodos existentes a menudo carecen de mecanismos explícitos para evaluar e integrar la evidencia.

Objetivo del estudio:

• Introducir EvidenceMap, un nuevo marco para modelos de lenguaje ligeros previamente entrenados para aprender el análisis explícito de la evidencia.
• Permitir que los modelos más pequeños procesen efectivamente la evidencia biomédica, incluida la evaluación de apoyo, la correlación lógica y el resumen.
• Orientar los modelos generativos en la producción de respuestas textuales precisas y confiables.

Principales métodos:

• Desarrollado EvidenceMap, un marco que ajusta un modelo de parámetros 66M para el análisis de evidencia explícita.
• Aprendizaje incorporado de soporte de evidencia, correlación lógica y resumen de contenido.
• Utilizó el modelo afinado para guiar un modelo generativo de parámetros 3B para responder preguntas.

Principales resultados:

• EvidenceMap mejoró significativamente la calidad basada en referencia en un 19,9% en comparación con un método de generación aumentada de recuperación (RAG) que utiliza un LLM 8B.
• La precisión se mejoró en un 5,7% con respecto al método RAG con un LLM de 8B.
• Demostrado que un modelo ligero (66M parámetros) puede aprender efectivamente el análisis de la evidencia para un rendimiento superior.

Conclusiones:

• EvidenceMap ofrece una solución eficiente y efectiva para responder preguntas biomédicas al centrarse en el análisis explícito de la evidencia.
• El marco proporciona una alternativa eficiente en recursos a los modelos de parámetros grandes, mitigando los problemas de propagación de errores y alucinaciones.
• El método propuesto obtiene resultados de vanguardia, superando a las técnicas establecidas con un número significativamente menor de parámetros.