Recuperación de Conocimiento Federado Mejora el Rendimiento de Modelos de Lenguaje Grandes en Benchmarks Biomédicos

Área de la Ciencia:

• Investigación biomédica
• Inteligencia artificial
• Representación del conocimiento

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) ofrecen procesamiento avanzado del lenguaje natural para la investigación biomédica.
• Los LLM pueden producir imprecisiones fácticas (alucinaciones) debido a la dependencia de datos implícitos.
• Estas imprecisiones plantean riesgos en aplicaciones biomédicas críticas.

Objetivo del estudio:

• Desarrollar un marco que mejore la precisión de los LLM en la investigación biomédica.
• Integrar evidencia mecanística explícita con el razonamiento de los LLM.
• Mejorar la precisión fáctica y reducir las alucinaciones en las salidas de los LLM.

Principales métodos:

• Se desarrolló BTE-RAG, un marco de generación aumentado por recuperación.
• Se integró el razonamiento de LLM con evidencia explícita de BioThings Explorer (federación de API).
• Se evaluó BTE-RAG frente a métodos solo de LLM en tres conjuntos de datos de benchmark personalizados (mecanismos genéticos, efectos de metabolitos, procesos biológicos de fármacos).

Principales resultados:

• BTE-RAG mejoró significativamente la precisión en tareas centradas en genes (por ejemplo, la precisión de GPT-4o aumentó del 69,8% al 78,6%).
• Mejoró la calidad de la respuesta para efectos de metabolitos (por ejemplo, aumento del 82% en alta similitud de coseno para GPT-4o mini).
• Mejoró la concordancia de respuestas para relaciones fármaco-proceso biológico y superó a modelos alternativos en benchmarks de asociación gen-enfermedad.

Conclusiones:

• La recuperación de conocimiento federado a través de BTE-RAG ofrece mejoras transparentes de precisión para los LLM.
• BTE-RAG es una herramienta práctica para la exploración mecanística en la investigación biomédica.
• El marco apoya la investigación biomédica traslacional al mejorar la confiabilidad de los LLM.